[1F4-OS-40b] OS-40

[1F4-OS-40b-04] Utilizing LLM Agent's Exploration Results for Efficient KGQA

〇Ayaka Yomogida¹, Akira Mitani¹ (1. DENSO CORPORATION)

[[Online]]

Keywords:LLM, knowledge graph, agent, KGQA

大規模言語モデル(LLM)の発展により，様々な自然言語処理タスクにおいて高い性能が達成され，適用範囲は日々広がっている．しかし，学習データに含まれていない知識への対応は不十分であり，精度低下やハルシネーションを引き起こす．この問題に対処するため，外部の知識リソースとして知識グラフ(KG)との連携が検討されている．KGの情報をすべてプロンプトに組み込むことは困難であるため，SPARQLなどの検索用クエリを用い，タスクに応じた必要な知識を抽出することが求められる．本研究では，LLMをエージェントとしてKGを探索させ，必要な知識にたどり着くまでの探索結果をSPARQLクエリに変換してText-to-SPARQLとして収集した．新規の質問に対し，類似する過去探索した質問に紐づくこれらのデータをfew-shot付与することで，質問を直接SPARQLに変換し，KGQAの効率化を試みた．JEMHopQAデータセットでWikidataの知識で回答可能な質問に対し評価を行い，zero-shotに対して回答精度が向上し，KGの探索で情報を抽出するより素早く回答できることを示した．