[4N3-GS-6] 言語メディア処理：

[4N3-GS-6-04] Bregman Divergenceによる低品質なテキストにおけるロバストな事前学習

〇内藤 匠海¹、石橋 陽一¹、下平 英寿^1,2 (1. 京都大学、2. 理化学研究所)

キーワード：自然言語処理、追加事前学習、ロバスト統計、言語モデル、深層学習

大規模言語モデル（LLM）の急速な発展の中，高性能なモデルを訓練するための訓練コーパスの大規模化が進んでいる．このような大規模な訓練コーパスに含まれるテキストはすべてが高品質であるとは限らず，大規模に集めてきたコーパスに含まれる品質の低いテキストがモデルの性能向上を妨げる可能性がある．本研究では，現実にみられる品質の低いテキストを含むコーパスでの事前学習において，ノイズの悪影響を抑えることを目的とし，ロバストな学習手法を提案する．具体的には，Bregman Divergence という広いクラスに着目し，その中に含まれるβ-Divergence，γ-Divergenceという，ロバスト統計で有効とされるダイバージェンスを用いる．実験においては，BERT の分類タスクへのファインチューニングや追加事前学習を実施し，KL-Divergence を損失とする一般的な学習法と比較して，提案手法が訓練データのラベルや訓練コーパスのテキストにノイズがある学習においてロバストに機能する事を示した．