[3G4-GS-6] 言語メディア処理：

[3G4-GS-6-05] レシピ文で学習した Semantic Entropy Probes による数学問題解答の不確実性推定

〇田村 優梨愛¹、松崎 拓也¹ (1. 東京理科大学)

キーワード：ハルシネーション、semantic entropy

本研究では，大規模言語モデルの信頼性指標として注目される semantic entropy を推定する手法である Semantic Entropy Probes (SEPs)を用い，レシピ文で学習したロジスティック回帰モデルを数学問題の解答文に適用できるかどうかを検証した．学習には，日本語特化の Decoder-only モデルから抽出した隠れ状態と，NLI モデルでクラスタリングした結果を基に算出した semantic entropy を閾値で 2 値化したラベルを特徴量として使用した．数学問題の解答文の不確実性および論理的整合性を推定した結果，レシピ文で学習したモデルでも数学解答文の不確実性をある程度推定できる可能性が示唆された．閾値設定の違いが AUC に大きく影響し，不確実性より論理的整合性を予測する方が容易な場合があることも示唆された．今後は，数学分野をはじめとする多様な領域に適合した NLI モデルの開発に加え，semantic entropy の算出手法やラベル付け方法の改良を通じた精度向上が課題となる．