[2Win5] Poster session 2

[2Win5-41] Analyzing the Relationship between Predictions and Explanations of Large Language Models for Multiple-Choice Questions in the Japanese News Domain

〇Kazutaka Kinugawa¹, Taichi Ishiwatari¹, Rei Endo¹, Hideya Mino¹, Naoto Shirai¹, Hitoshi Ito¹, Yoshihiko Kawai¹ (1.NHK Science & Technology Research Laboratories)

Keywords:Multiple-Choice Question, Large Language Model, Explainability, Factuality, news domain

本研究では，ニュース時事能力検定試験という試験問題を用いて日本語ニュースドメインにおける大規模言語モデルの予測と説明の関係を分析する．この検定では異なる難易度の多肢選択問題の各々に解説が付与されており，この解説を文脈内学習の事例に用いて説明を出力するようモデルに促す．選択肢のみ出力させた場合と選択肢・説明を共に出力させた場合でモデルの予測結果の変化を測定する実験を行ったところ， 4 つのサイズのモデルのうち 3 つが高難易度の問題ほど回答選択肢を変更する傾向にあることがわかった．これは，モデルが自身の知らない事柄について説明を促されることで予測が不安定になる可能性を示唆している．