[4Yin2] インタラクティブセッション2

[4Yin2-16] 勾配法による蒸留における教師モデル選別

〇久米 大雅¹、川島 寛乃²、別宮 広朗¹、中澤 仁¹ (1.慶應義塾大学環境情報学部、2.慶應義塾大学大学院政策・メディア研究科 )

キーワード：知識蒸留

深層学習において，大規模なモデルの推論時の高い計算コストや長い推論時間はそのモデルを実用する上での大きな課題である．大規模な教師モデルの出力をより小規模な生徒モデルに模倣させることでモデルの性能維持と軽量化を実現するモデルの圧縮手法として知識蒸留がある．しかし知識蒸留の効果はモデル規模やモデル構造などの多くの要因から影響を受けるため，複数の教師モデルの候補のなかから生徒モデルの性能を最大化する教師モデルを定量的に判別することは困難である．特に教師モデルと生徒モデルの性能差は蒸留の効果に大きな影響を与えるとされているが，生徒モデルの性能は学習過程で変化するため，生徒モデルの性能を最大化する教師モデルも蒸留の過程で変化する．そこで本稿では，生徒モデルが参照する教師モデルを蒸留の過程で変化させる手法を提案する．複数の教師モデル候補に対し，各々に重みパラメータを割り振り，その重みを勾配法で最適化しながら知識蒸留を行う．評価実験ではCIFAR10の画像分類タスクにおいて提案手法で蒸留された生徒モデルの精度が従来手法を上回ることを示した．