[3Xin2] ポスターセッション1

[3Xin2-72] 常識知識グラフによる知識拡張プロンプトの有効性

〇岡田 憩¹、ラファウ ジェプカ²、荒木 健治² (1.北海道大学 大学院情報科学院、2.北海道大学 大学院情報科学研究院)

キーワード：常識知識グラフ、LLM

大規模言語モデル(LLM)以前のBERTなどのモデルでは様々なタスクでの性能を改善するために，知識グラフなどの外部知識との組み合わせも行われた．LLMでは入力(プロンプト)を変えることで外部知識を使う必要がなく同程度の性能が出されている．そこで，本研究では，LLMにおける知識グラフによる知識拡張の有効性を調査した．日本語の常識推論タスクJCommonsenseQAにおいて，常識知識グラフConceptNetからの知識を入力へ追加し，5つの言語モデルで基本的にゼロショットで検証を行った．JCommonsenseQAのtrainセットからランダムに100問を検証データとし，ConceptNetの知識を自然文に変換したものから，それぞれの質問に類似するものtop10を抽出した．これら10個の知識を入力プロンプトに追加し，推論を行った．評価はexact matchで行い，正解率を算出した．結果，全てのモデルにおいて知識拡張を行うことで正解率が減少，または同程度となった．これはLLMにおいては常識知識グラフによる知識拡張プロンプトは有効的ではない可能性を示唆している．