[3Win5] ポスターセッション3

[3Win5-87] 知識汚染パラメータの枝刈りによる関係知識推論の改善

〇金 輝燦¹、金子 正弘²、平岡 達也^2,5、小町 守³、乾 健太郎^2,4,5、Timothy Baldwin² (1.東京都立大学、2.モハメド・ビン・ザイード人工知能大学、3.一橋大学、4.東北大学、5.理化学研究所)

キーワード：事前学習済み言語モデル、解釈可能性、関係知識

事前学習済み言語モデルを構成する重みパラメータは、膨大なテキストデータで事前学習されており、実世界における多様な関係知識を捉えている。関係知識の獲得状況の評価では、クエリ (e.g., The capital of France is) から正答 (e.g., Paris) を生成できるかを計測する。モデルは正答を生成できる場合がある一方で、当該知識に関連するテキストが学習データに含まれていても、誤答を生成することがあるため、信頼性において課題がある。誤答の要因としては、生成時に当該知識の情報を保有しているパラメータではなく、無関係なパラメータに基づいた生成が行われている可能性がある。本研究では、こうした誤答の要因となるパラメータを知識汚染パラメータと呼称する。また、これらを分析・対処することで回答の信頼性向上を図る。具体的には、モデル内の各パラメータに対して回答生成への貢献度を示すスコア（帰属スコア）を付与し、この帰属スコアが低いパラメータを知識汚染パラメータと定義する。実験では、知識汚染パラメータを枝刈りすることで、当該知識に関連するクエリに対する回答精度が向上することがわかった。