[2H6-GS-9] 自然言語処理・情報検索: 文章生成

[2H6-GS-9-04] 不要文除去問題の自動解答における転移学習に用いる疑似問題の作成手法

井上 裕樹¹、〇的場 成紀¹、成松 宏美²、杉山 弘晃²、東中 竜一郎²、平 博順¹ (1. 大阪工業大学、2. NTTコミュニケーション科学基礎研究所)

キーワード：不要文除去問題、機械読解、ロボットは東大に入れるか、自然言語処理

我々は，「ロボットは東大に入れるか」プロジェクトを通じて，センター本試験および追試験の英語問題の自動解答に取り組んできた．本研究では，不要文除去問題に対して，ニューラルネットワークモデルの転移学習による解答手法を試みた．我々はこの不要文除去問題に対し，これまで様々な手法を試みてきた．その中で，これまで汎用言語表現モデルBERTを適用した手法が最も高い正解率が得られる手法であった．BERTが発表されて以降も，様々な汎用言語表現モデルが提案されている．本研究では，汎用言語表現モデルXLNetおよびRoBERTaを用いる．これらのモデルは，BERTと同じく転移学習することで，様々なタスクに応用することができる．BERTによる転移学習では疑似的に作成した不要文除去問題を学習データとしていた．この疑似的な学習データの作成方法には様々な方法が考えられる．我々は疑似的な不要文除去問題を作成するにあたり，疑似的な不要文の抽出方法とそれらを既存の文章へ挿入する位置についてどのような方法を取れば質の高い疑似問題が作成できるか検討を行なった．