15:20 〜 15:40
[3J4-GS-6c-01] BERTにおけるWeightとActivationの3値化の検討
キーワード：深層学習、言語モデル、量子化
事前学習済み言語モデルであるBERTの軽量化・高速化に向けてfloat値を少ないbit数表現で近似する量子化技術が注目を集めている．従来技術ではモデルのweight パラメータを3値や2値にする研究が行われているが，一方でactivationの量子化は8bit化が主流であり，8bit未満での近似は精度維持が困難であることが経験的に知られている．本研究ではBERTの中間表現における外れ値が課題であると考察し，事前学習済みのBERTを基に各層のactivationの外れ値に対応可能な3値化手法を提案する．評価実験により，weightとactivationを3値化したモデルが言語モデリングおよびダウンストリームタスクにおいて従来手法で3値化した場合に比べて精度低下を抑えたことを示す．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。