[3E5-OS-11b] OS-11

[3E5-OS-11b-01] A Study on the Use of Generative AI for Fact Checking

〇Hideyuki Shibuki¹, Yasuhiro Ogawa², Yasutomo Kimura³, Hokuto Ototake⁴, Yuzu Uchida⁵, Keiichi Takamaru⁶, Kazuma Kadowaki⁷, Tomoyoshi Akiba⁸, Minoru Sasaki⁹, Akio Kobayashi¹⁰ (1. BESNA Institute Inc., 2. Nagoya City University, 3. Otaru University of Commerce, 4. Fukuoka University, 5. Hokkai-Gakuen University, 6. Utsunomiya Kyowa University, 7. The Japan Research Institute, Limited, 8. Toyohashi University of Technology, 9. Ibaraki University, 10. National Agriculture and Food Research Organization)

Keywords:QA Lab-PoliInfo, fact check, LLM

近年の生成AIの発展は目覚ましく、従来のNLPでは解決困難だった課題が生成AIによって解決されることも珍しくない。フェイクニュース（ファクトチェック）も解決困難な課題であったため、我々は共有タスクとしてNTCIR QA Lab-PoliInfoを開催してきた。本稿では、NTCIR-17 QA Lab-PoliInfo-4におけるQuestion Answering-2タスクのデータを対象に生成AIによる評価を試み、人手による評価と比較する。