[2B4-GS-6] 言語メディア処理：言語モデル

[2B4-GS-6-03] 時間的常識理解へ向けた言語モデル構築への取り組み

〇木村 麻友子¹、Kanashiro Pereira Lis¹、浅原 正幸²、Cheng Fei ³、越智 綾子²、小林 一郎¹ (1. お茶の水女子大学、2. 国立国語研究所、3. 京都大学)

キーワード：時間常識、汎用言語モデル、マスク言語モデル、多段ファインチューニング

文章中に表現される時間に関するイベントに対して，常識的な時間関係を捉えることができるようにすることは，自然言語理解においてとても重要な課題である．一方で，近年，幅広い自然言語処理（NLP）タスクで大きな成果を上げているBERTなどの事前学習済み言語モデルは，時間推論においてはまだ性能が低いと言われている．そこで，本研究では，時間的常識推論に対する言語モデルの開発に焦点を当て，複数のコーパスを用いたマルチステップのファインチューニングや，ファインチューニングの前に，時間的常識を問う対象のデータセットを用いて別のタスク（Masked Language Modeling）に基づく実験を行なった．実験の結果，時間的常識推論において，標準的なファインチューニングよりも大幅に精度が向上することが確認できた．