[2Win5] ポスターセッション2

[2Win5-23] 既知性を示す言語表現を伴う知識に関する内部表象の分析

〇田中 健史朗¹、坂井 吉弘¹、趙 羽風¹、井之上 直也^1,2、佐藤 魁³、高橋 良允³、Benjamin Heinzerling^2,3、乾 健太郎^4,3,2 (1.北陸先端科学技術大学院大学、2.理化学研究所、3.東北大学、4.MBZUAI)

キーワード：言語モデル、知識表現、既知性判断

大規模言語モデル (LLM) の知識の既知性判断能力に関する研究が進められつつあるが、「It is known that…」のような既知性を示す言語表現を伴う知識を学習した際に、推論時にLLMがその知識の既知性を判断する能力については、検討されていない。本研究では、事前学習済みLLMに既知性を示す言語表現を付与した知識の記述を学習させ、その知識の内部表象を分析することで、既知性がどのようにLLMの内部に表現され得るのかを分析する。その結果、（1）知識の内部表象には、学習時に付与した言語表現毎に個別に既知性の情報が保持されていること、（2）既知性の情報は言語表現の記述位置毎に個別に保持されることが明らかになった。本研究は、LLMの既知性の判断能力のメカニズム解明の足がかりとなるものである。