[1D4-OS-3c] ニュースメディアのデータサイエンス(3/3)

[1D4-OS-3c-02] BertSumを用いた日本語ニュース記事の抽象型要約手法の検討

〇石原 慧人¹、石原 祥太郎²、白井 穂乃² (1. 筑波大学、2. 株式会社日本経済新聞社)

キーワード：自然言語処理、抽象型要約、BERT

本研究では，近年の自然言語処理領域で一般的になっている汎用的な事前学習モデル「BERT」を用いて，日本語ニュース記事の抽象型要約に取り組む．具体的には，3種類のBERTを用いて、BERTを拡張した要約手法「BertSum」のモデルを構築した。実験を通じて、多言語モデルよりも日本語モデルの方が優れた性能を発揮すると分かった。事前学習のコーパスとして日本語のニュース記事を用いたモデルと日本語のWikipediaを用いたモデルでは、性能に有意な差は確認できなかった。日本語のニュース記事を扱う上で重要なトークナイザーや未知語についても議論した。