[2B4-GS-6] 言語メディア処理：言語モデル

[2B4-GS-6-01] Transformer Encoder-Decoderモデルによるサーベイ論文の自動生成

〇笠西 哲¹、磯沼 大¹、森 純一郎^1,2、坂田 一郎¹ (1. 東京大学大学院、2. 理研AIP)

キーワード：自然言語処理、文書要約、Transformer

研究者が新たな分野に進出するとき、分野の研究動向や最新の論文をまとめたサーベイ論文は大きな助けとなる。しかし、サーベイ論文を執筆するためには当該分野に関する深い知識が必要となり、かつ大量の論文を精読しなければならないため、多大なコストを要する。そこで本研究では、研究者のサーベイを支援する目的で、自動要約技術によってサーベイ論文を自動生成することを目指す。本稿ではそれに向けた予備的な取り組みとして、既存のTransformer Encoder-DecoderモデルであるLongformerとBig Birdを利用し、サーベイ論文の各章で引用されている文献のアブストラクトを入力としてサーベイ論文の章生成を行い、既存のモデルがどの程度有効であるか評価する。