[4O1-GS-10] AI応用：応答・評価

[4O1-GS-10-02] 数式混じり文書を用いたRAGシステムにおける参照元文書タイプの影響調査

〇船蔵 颯^1,2,3、森 楓³ (1. 京都大学、2. 慶應義塾大学、3. 株式会社キカガク)

キーワード：RAG、大規模言語モデル、AIの教育応用

教材テキストを参照して学習者の質問に回答する、RAGシステムに基づく教育支援の手法は多数検討されている。数理科学領域の教育においても、教材に基づいて質問回答するRAGシステムによっての学習促進が期待される。一方で、数式が含まれるテキストに基づくRAGシステムの構築において、PDFやマークダウンなどの文書形式の中でどれを選ぶべきかは必ずしも明らかではない。本稿では、数式混じり文書へのRAG適用において最適な文書タイプを発見する試みとして、参照元テキストをPDFで表現した場合と、マークダウンで表現した場合とで、RAGシステムの性能比較を行う。性能比較のベンチマークとして、参照元テキスト内の数式および周辺文脈を理解していなければ回答できないような質問を用意した。その上で、参照元文書から質問と関連するテキストを抽出し、質問に回答するRAGシステムの構築および評価を行った。結果として、テキスト埋め込みモデルの選択に対する頑健性の観点から、PDF形式の優位性が示唆されることを報告する。