[3E5-GS-2] 機械学習：一般

[3E5-GS-2-02] 事前学習済み言語モデルの追加学習用データ量の増加に応じた分類性能伸長予測法の提案

〇倉元 俊輝¹、鈴木 潤² (1. 株式会社ブリヂストン、2. 東北大学)

キーワード：機械学習、自然言語処理

大規模な文章コーパスを用いて学習した言語モデルが開発・公開されており、それらを目的に応じた追加学習用データで微調整学習を実施することで口コミなどの言語データの解析をビジネスに活かす機会が広がっている。しかし、実際のビジネス場面では様々な制約により取得可能な追加学習用データはいつも潤沢という訳ではなく、同時に目標性能を達成するためにどれくらいのデータを収集すべきか、その指針設定も容易ではない。このような課題に対し本稿では自然言語処理の分類問題に絞って、初期に得られた数百～千件の追加学習用データを用いて微調整学習したモデルの分類性能の結果から、追加学習用データ量が増加した場合の分類性能の伸長を予測し、目標性能達成のために必要なデータ量を試算できる手法を提案する。具体的には、事前学習モデルを微調整学習する際、エポック数を増やし学習を重ねていくと、その分類性能は元のデータ量によらず類似した傾向で伸長する。その伸長の近似式を用いることで初期の追加学習用データが限られている場合でも10倍～100倍程度の学習用データを用いてモデルを学習した際に得られる分類性能を推測可能であることを検証する。