[2M5-OS-24] AutoML（自動機械学習）

[2M5-OS-24-05] One-Shot NASによるBERTのモデル圧縮

〇岡本 拓己¹、横田 理央¹ (1. 東京工業大学)

キーワード：ニューラル構造探索、BERT、局所特徴量、モデル圧縮

近年、モデル性能の向上のためにモデルサイズを大きくした言語モデルの研究が行われているが、このようなモデルの事前学習には多くの時間を要する。この問題を解決するためにモデルの性能を維持したままモデルサイズを削減する手法としてモデル圧縮の研究が行われている。また、局所特徴量を効率的に学習できるアーキテクチャを組み込むことで言語モデルの性能を向上させる研究も行われている。そこで本研究では、性能を維持したままモデルサイズを削減することが可能なモデル構造を探索するために、局所特徴量を効率的に学習できるアーキテクチャのニューラルアーキテクチャ探索(NAS)を行った。
得られたモデルをGLUEベンチマークを用いて評価した結果、BERT-baseモデルに対して平均スコアを0.5増加させつつ、モデルのパラメータ数を46.1%削減できているという結果が得られた。