[2J4-GS-2] 機械学習: 深層強化学習

[2J4-GS-2-02] 強化学習と MetaPruning によるモデル圧縮と高速化

〇甲野 佑^1,2、大村 元気^3,1、 加藤 倫弘¹、内田 祐介¹ (1. 株式会社ディー・エヌ・エー、2. 東京電機大学、3. 東京大学)

キーワード：機械学習、モデル軽量化、強化学習、重み剪定

深層学習は計算機の進化とともに，膨大な数のパラメータの学習が可能となり複雑で高精度なモデルを作成可能にした．しかしながら，モデルを運用する場合，通信環境やリクエスト数，搭載デバイスなどの制限が存在し，近年は精度を保ったままモデルサイズを縮小する研究が注目されている．本研究では CNN 上での構造的で効率的な圧縮手法の中でも，深層強化学習による圧縮手法 AMC (AutoML for model compression) に着目した．AMC は Off-policy 強化学習によって過去の探索情報を再利用し効率的なチャネル削減により圧縮を行う．AMCは探索中の推定精度が削減後の簡易精度で削減後に改めて学習したモデルの精度とは異なるという問題を抱えている．一方で AMC は広義には強化学習アルゴリズムや削減すべきチャネルの優先度付けアルゴリズムの種類を限定していない．そこで本研究では強化学習アルゴリズムの変更と，簡易報酬を MetaPruning というチャネルの削除と再学習後の重みの推定値を予め学習する手法と組み合わせ，予測した重みによる精度を報酬としてより効率的に探索する手法を提案した．