[1Win4] ポスターセッション1

[1Win4-18] 言語モデルにおける知識の既知性判断の内部表象

〇佐藤 魁¹、高橋 良允 ¹、Benjamin Heinzerling^2,1、田中 健史朗³、趙 羽風³、坂井 吉弘³、井之上 直也^3,2、乾 健太郎^4,1,2 (1.東北大学、2.理化学研究所、3.北陸先端科学技術大学院大学、4.MBZUAI)

キーワード：言語モデル、知識表現、既知性判断

言語モデル（LM）の知識獲得能力は広く研究されているが，獲得した知識の既知性に関する判断機序については十分な理解が得られていない．本研究ではLMを用いて，特定の知識に対する出力生成時と既知性判断時の内部状態を比較分析した．結果として，言語モデルが実際に既知性判断を行う能力を持ち得ることが示され，（1）知識を学習した時点で，既知性を判断するための情報が内部表現中に存在すること，（2）既知と判断される知識と未知と判断される知識において，LMがそれぞれ異なる活性化パターンを示すことを明らかにした．これらの知見は，LMの既知性判断メカニズムの理解へ向けた手がかりを提供する．