[2Win5] ポスターセッション2

[2Win5-50] 大規模言語モデルの推論能力向上に向けた信念空間の是正

〇丹羽 彩奈¹、金子 正弘¹、乾 健太郎^1,2,3 (1.MBZUAI、2.東北大学、3.理化学研究所)

キーワード：大規模言語モデル、解釈性

大規模言語モデル（LLM）は高度な推論能力を示す一方、しばしば誤った回答を出力することが知られている。
本研究では、この誤推論がモデル内部に存在する偽信念（Spurious Beliefs）に起因するという仮説を提示する。
そして、モデルが推論時に使う信念の中で、正しい答えにつながる「真の信念」が優先的に参照されるように調整し、推論能力を向上させる手法を提案する。
具体的には、まず誤答と正答を導く際に参照される偽信念と真の信念を特定する。
次に、逆学習によってモデルの偽信念への参照を抑制し、真の信念を優先的に参照させるようモデル内部の信念空間を是正する。
QAタスクにおける実験では、提案手法が誤推論を抑制するとともに汎化性能を向上させることを示した。