[2Win5] Poster session 2

[2Win5-19] Verification of the Effectiveness of GraphRAG in Small Language Models

〇Hirotaka Fujiwara¹, Hiroyuki Shinnou¹ (1.Major in Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University)

Keywords:Knowledge Graph, RAG, GraphRAG

RAG（Retrieval-Augmented Generation）は、プロンプトに外部知識を埋め込むことで言語モデルの性能を向上させる手法であり、さまざまな応用が研究されている。その中でも、外部知識に知識グラフを使用するGraphRAGは、複雑なクエリへの対応を可能にする手法として注目されている。
現在、GraphRAGの研究は主に大規模言語モデル（LLM）を対象に行われており、小型言語モデル（SLM）における有効性は十分に検証されていない。本研究では、SLMにおけるGraphRAGの有効性を検証するため、クイズタスクを用いた性能評価を実施した。また、同様の実験をLLMに対しても行い、両者の比較を行った。
実験の結果、クイズのような単純なタスクではGraphRAGの有効性を評価するのが困難であることがわかった。
一方で、RAG自体はLLM・SLMのいずれにおいても有効に機能することが確認され、それらの性能差は外部知識に拠らない言語モデル固有の知識に起因するものであることが示された。