[3Win5] Poster session 3

[3Win5-87] Enhancing Relational Knowledge Inference via Pruning of Knowledge-Obstructive Parameters

〇Hwichan Kim¹, Masahiro Kaneko², Tatsuya Hiraoka^2,5, Mamoru Komachi³, Kentaro Inui^2,4,5, Timothy Baldwin² (1.Tokyo Metropolitan University, 2.Mohamed bin Zayed University of Artificial Intelligence, 3.Hitotsubashi University, 4.Tohoku University, 5.RIKEN)

Keywords:Pre-trained Language Model, Interpretability, Relational Knowledge

事前学習済み言語モデルを構成する重みパラメータは、膨大なテキストデータで事前学習されており、実世界における多様な関係知識を捉えている。関係知識の獲得状況の評価では、クエリ (e.g., The capital of France is) から正答 (e.g., Paris) を生成できるかを計測する。モデルは正答を生成できる場合がある一方で、当該知識に関連するテキストが学習データに含まれていても、誤答を生成することがあるため、信頼性において課題がある。誤答の要因としては、生成時に当該知識の情報を保有しているパラメータではなく、無関係なパラメータに基づいた生成が行われている可能性がある。本研究では、こうした誤答の要因となるパラメータを知識汚染パラメータと呼称する。また、これらを分析・対処することで回答の信頼性向上を図る。具体的には、モデル内の各パラメータに対して回答生成への貢献度を示すスコア（帰属スコア）を付与し、この帰属スコアが低いパラメータを知識汚染パラメータと定義する。実験では、知識汚染パラメータを枝刈りすることで、当該知識に関連するクエリに対する回答精度が向上することがわかった。