[3Rin4] インタラクティブ1

[3Rin4-17] 表面的手がかり語への依存軽減による論述関係認識モデルの汎化

〇花安 勇人^1,2、池田 駿介^1,2、久保寺 誠¹、井之上 直也³ (1.株式会社Nextremer、2.東京電機大学、3.東北大学)

キーワード：自然言語処理、事前学習言語モデル、RoBERTa、BERT、議論マイニング

近年，大規模事前学習済み言語モデルが文章の論述構造の解析に有効であることが報告されている．しかしながら，こうしたモデルによる性能改善はデータセット特有のバイアス（表面的な手がかり）を捉えたものであり，モデルのこうしたバイアスへの依存を軽減することが汎化性能の向上に繋がる可能性があることが近年の研究により示唆されている．本稿は，論述構造解析のサブタスクである論述関係認識における，表面的な手がかりに関する一連の調査結果を報告する．具体的には，まず，論述関係認識において広く用いられている論述構造アノテーション付きコーパスに表面的な手がかりが存在することを示す．また，論述関係認識器の表面的な手がかりへの依存を追加のアノテーションなしに軽減する手法を提案し，その有効性を確認する．最後に，勾配に基づく入力単語の感度分析により，提案手法が表面的な手がかりへの感度を軽減させられることを示す．