[N-1-8] AEを用いた宝くじ仮説におけるサブネットワークの検証
この講演はキャリアエクスプローラーの掲載を希望しています。
キーワード:深層学習、AutoEncoder、宝くじ仮説
深層学習システムの軽量化を目的としたPruning(枝刈り)手法がSong Hanらによって提案されている.
これはモデルのノードや重みをある基準により削除することである.
残されたパラメータは重要な情報を持ち,それらのパラメータの初期値は学習の過程で重要な役割を果たしていると考えられる.Jonathan Frankleらは深層学習モデルの初期値には学習に影響を与えるサブネットワークが存在するという「宝くじ仮説」を提唱している.
本稿では教師なし学習で特徴を抽出できるAutoEncorder(AE)を学習後,Pruningを適用させた時の潜在変数を観察することでパラメータの役割について検討を行う.
これはモデルのノードや重みをある基準により削除することである.
残されたパラメータは重要な情報を持ち,それらのパラメータの初期値は学習の過程で重要な役割を果たしていると考えられる.Jonathan Frankleらは深層学習モデルの初期値には学習に影響を与えるサブネットワークが存在するという「宝くじ仮説」を提唱している.
本稿では教師なし学習で特徴を抽出できるAutoEncorder(AE)を学習後,Pruningを適用させた時の潜在変数を観察することでパラメータの役割について検討を行う.
講演論文集PDFを閲覧したい場合はパスワードを入力してください。
パスワードは、講演参加申込者、聴講参加申込者にメールで御連絡しております。