[3Xin4] ポスターセッション1

[3Xin4-03] 超大規模コーパスからの抽出コーパスによる言語モデルのタスク適応

〇本浦 庄太¹、秋元 康佑¹、槇尾 純太¹、定政 邦彦¹ (1.日本電気株式会社)

キーワード：言語モデル、追加事前学習、タスク適応、文書検索

下流タスクが与えられたとき，タスクの対象とするドメインののコーパスで追加事前学習を行うとそのタスクでの性能が向上することが知られている．しかし，既存研究では対象ドメインのコーパスや追加事前学習に利用できるだけの量の下流タスクデータの存在を仮定しており、これらは実用的には必ずしも利用可能でない．そこで，本研究ではドメインに依存しない超大規模コーパスの各ドキュメントと少量の下流タスク学習用データとの類似度を算出し，追加事前学習による追加事前学習に適したドキュメント群を抽出する手法を提案する．そして，抽出したドキュメント群による追加事前学習が下流タスクにおける性能を向上させることを実験的に示す．