[3P4-GS-2] 機械学習：（遠隔）自然言語処理

[3P4-GS-2-04] 単語分散表現の固定化による日本語BERTの構築

〇菅波 新¹、新納 浩幸¹ (1. 茨城大学)

[[オンライン]]

キーワード：自然言語処理、分散表現、BERT

BERTは高性能な事前学習済みモデルであるが，モデルサイズが巨大なため，構築に多大な時間や計算資源がかかるという問題がある．また，事前学習済みモデルの高性能化に伴うデータセットやモデルの巨大化による，モデルの構築時間や費用の増大化も問題視されている．そこで本稿ではBERTの構築時間を削減するために，単語分散表現の固定化による日本語BERTの構築を提案する．具体的には，word2vecを利用して単語分散表現をあらかじめ学習しておき，その単語分散表現をBERTのToken Embeddingとして固定することで日本語BERTを構築する．実験では1024次元4層の日本語BERTをそれぞれ従来の方法と提案手法により構築し，モデルの構築時間と日本語ニュース記事に対する文書分類タスクでの精度を比較することで提案手法の効果を検証した．提案手法により構築時間は2.5%ほど短縮され，精度は改善される上，早いエポック数で収束することを確認した．