[3J4-GS-6c] 言語メディア処理：言語モデル

[3J4-GS-6c-02] BERTによる引用要否判定とエラー分析

〇堂坂 浩二¹、成松 宏美²、小山 康平³、東中 竜一郎 ²、南 泰浩³、田盛 大悟⁴、平 博順⁴ (1. 秋田県立大学、2. NTTコミュニケーション科学基礎研究所、3. 電気通信大学、4. 大阪工業大学)

キーワード：論文執筆支援、引用可否判定、言語モデル

学術論文の爆発的増加と論文執筆において適切な文献を引用する必要性から論文執筆支援の研究が進められている．本発表では，論文執筆支援の中でも，論文の個々の文に引用を付与する必要があるかどうかという引用要否判定タスクに焦点をあて，大規模汎用言語モデルBERTの転移学習による判定モデルの結果とエラー分析について示す．まず，既存のCite-Worthy データセットを用い，BERTによる判定モデルの評価を行った．訓練データに正例77,000文，負例28万文，テストデータに正例8,500文，負例11万文を用い，判定モデルを学習した．畳み込みニューラルネットワークによる従来法（F値:0.43）に対し，大幅な性能向上(F値: 0.70)を得た．次に，Citation Functionデータセットを用い，引用意図ごとに判定モデルの評価を行った．評価の結果，「背景説明」といった多様な表現により表される引用意図のほうが，「従来との比較」といった表層が限定される引用意図よりも識別性能が低い傾向が見られた．エラー分析を通して，引用箇所の前後の文脈を含めたモデルの必要性について考察する．