[3M1-OS-12a] 政治経済におけるAIの利活用

[3M1-OS-12a-01] NTCIR-17 QA Lab-PoliInfo-4におけるQAタスクおよびAVタスクの分析

〇小川 泰弘¹、石川 晴基²、秋葉 友良² (1. 名古屋市立大学、2. 豊橋技術科学大学)

キーワード：質問応答、自動要約、事実誤認

本研究の目的は，大規模言語モデルを利用したQAシステムおよび要約システムにおいて，どのような間違いが発生するのか，また，そうした間違いを検出できるかについて分析することである．
対象となるデータは，議会の会議録を使用した NTCIR-17 QA Lab-PoliInfo-4 の Question Answering (QA)タスクおよびAnswer Verification (AV)タスクの結果である．
QAタスクは，会議録における質問の要約を入力した場合に対応する答弁の要約を出力するタスクであり，その結果にどのような誤りがあるかを分析した．
AVタスクは，QAタスクの出力が正しいかどうかを判定するタスクであり，どのような出力に対して判定を誤るかについて分析した．