[N-1] 非線形問題

[N-1-8] Verification of Subnetworks in the Lottery Hypothesis using AutoEncoders

^○井波辰朗, 神野健哉 (東京都市大)

この講演はキャリアエクスプローラーの掲載を希望しています。

Keywords:深層学習、AutoEncoder、宝くじ仮説

深層学習システムの軽量化を目的としたPruning(枝刈り)手法がSong Hanらによって提案されている．
これはモデルのノードや重みをある基準により削除することである.
残されたパラメータは重要な情報を持ち，それらのパラメータの初期値は学習の過程で重要な役割を果たしていると考えられる．Jonathan Frankleらは深層学習モデルの初期値には学習に影響を与えるサブネットワークが存在するという「宝くじ仮説」を提唱している．
本稿では教師なし学習で特徴を抽出できるAutoEncorder（AE）を学習後，Pruningを適用させた時の潜在変数を観察することでパラメータの役割について検討を行う.