[3Xin2] ポスターセッション1

[3Xin2-94] 近傍事例との距離重み付けSoftmax関数を用いた不確実性推定

〇橋本 航¹、上垣外 英剛¹、渡辺 太郎¹ (1.奈良先端科学技術大学院大学)

キーワード：不確実性推定、確信度較正、事前学習済み言語モデル、テキスト分類、固有表現認識

深層学習モデルの予測の信頼性が高いことは，実世界で高い安全性が必要とされる領域で応用するために重要である．しかし、深層学習モデルには実際の正解率と予測された信頼度の乖離が大きい誤較正の問題が存在する．この問題は，特に複数回の確率的推論を必要とするアプローチによって軽減することができるが，推論コストが高いため実用的ではない．本研究では、近傍事例からの距離を用いる不確実性推定手法であるkNN-weighted Softmaxを提案する．本手法は，入力事例と訓練データ中の近傍事例との間の距離に応じてlogitをスケーリングし，複数回の確率的推論を行う必要がない．テキスト分類および固有表現認識の実験により、提案手法が不確実性推定性能においてベースラインを上回ることが示された．