[1Win4] ポスターセッション1

[1Win4-37] 質疑応答を用いた文書要約評価指標へのLLM適用の検討と分析

〇山縣 将貴¹、加藤 拓¹、藤本 拓¹、吉村 健¹ (1.株式会社NTTドコモ)

キーワード：要約評価、大規模言語モデル

近年では機械学習をベースとした文章要約の研究が盛んに行われおり、合わせてその評価手法についても検討が行われている。しかし、文章要約評価では文脈や意味といった観点を考慮することが必要でとなるため、人手評価と高い相関を持つ評価手法の構築は確立されていない。さらに、参照文を用いない評価の場合には更に難易度が上昇する。本研究では、参照文を用いない文書要約の評価指標であるQAGS（A. Wang et al., 2020）に含まれる質問生成モデルと質問応答モデルにLLMを用いることで日本語に適用し、人手評価との相関等について分析を実施した。実験によって、QAGSの質問生成モデルと質問応答モデルにLLMを用いることで、日本語において文脈や意味を考慮した質問生成・質問応答が可能となること及び、人手評価と相関のある文章要約評価が可能となることを確認した。