[1E3-GS-9] 自然言語処理・情報検索: 機械学習

[1E3-GS-9-02] Fine-Tuning による領域に特化した DistilBERT モデルの構築

〇新納 浩幸¹、白 静¹、曹 鋭¹、馬 雯¹ (1. 茨城大学)

キーワード：バート、ファインチューニング、領域依存

本論文では BERT の領域依存の問題を指摘し、Fine-Tuning を利用することで領域に特化した事前学習モデルを構築する。具体的には既存 BERT モデルのパラメータを DistilBERT のパラメータの初期値とし、領域毎のコーパスを利用して DistilBERT モデルの学習を行う。これによって領域に特化した DistilBERT モデルの構築が効率的に行える。実験では、領域毎に空所単語の推定問題を作成し、問題の領域に特化して構築したモデルと既存 BERT モデルを比較することで、構築したモデルの有益性を示す。