[3Win5] Poster session 3

[3Win5-89] ExaGPT: Example-Based Machine-Generated Text Detection for Improving Interpretability

〇Ryuto Koike¹, Masahiro Kaneko^2,1, Ayana Niwa², Preslav Nakov², Naoaki Okazaki^1,3,4 (1.Institute of Science Tokyo, 2.MBZUAI, 3.National Institute of Advanced Industrial Science Technology (AIST), 4.NII LLMC)

Keywords:LLM, AI Safety, Interpretability, LLM-generated Text Detection

昨今、大規模言語モデル（Large Language Model; LLM）の優れた文生成能力を利用した剽窃や誤情報の生成などのLLMの悪用が問題となっている。この悪用を防ぐ一つの手段として、人間が書いた文とLLMの生成文を分類する、機械文検出の需要が高まっている。ここで機械文検出の検出結果が持つ影響は大きく、例えば誤検出により学生が不正行為を疑われることにつながりうる。したがって機械文検出は、その検出の正しさをユーザが判断するために解釈性のある結果を示す必要がある。本研究では検出時に考慮した、対象文と似た事例文を検出根拠として提示する事例ベース検出手法 ExaGPTを提案する。具体的には、対象文を各人間文群、機械文群と比較し、スパン単位で対象文中の表現に似た表現を事例として割り当てる。人手評価の結果、提案手法の事例提示が、既存の解釈手法よりも検出結果の正誤判定に効果的に寄与することを確認した。加えて検出性能の評価実験の結果、提案手法が既存手法に比べ、正解率を最大で40.9ポイント上昇させた。このことから、提案手法は高い解釈性と優れた検出性能を兼ね備えた検出手法であることが示された。