[2A4-GS-2] 機械学習：データ活用

[2A4-GS-2-04] 効率的な強い宝くじの探索アルゴリズムに関する検討

〇岩澤 有祐¹、平川 雅人¹、松尾 豊¹ (1. 東京大学)

キーワード：強い宝くじ仮説、刈り込み

ランダムに初期化された過剰パラメータ化されたネットワークには，重み更新を行わずに高い性能を発揮する疎なサブネットワークが存在することが示されている．しかし，このようなサブネットワークが既存アルゴリズムによってどのように発見されるのかは分析が不十分であり，その性能を改善することが困難になっている． 本稿ではまず，既存アルゴリズムではほとんどの重みが一度も使用されない，つまりランダムに選択された初期サブネットワークの近傍しか探索していないことを実験的に確認した．次に，iterative edge-pop (iEP)を提案した．この手法は，刈り込み率を徐々に増加させ，各反復後に学習率を巻き戻すことでEPを繰り返す．提案手法の有効性を確認するために，ImageNet，CIFAR-10，CIFAR-100を用いた実験を行った．結果として，ImageNetにおいて，通常の重みが2,200万パラメータで73.3%, Edge-Popが約2,000万パラメータで73.\%の正解率となるのに対して，iEPでは約2,000万パラメータで76.0%の性能を達成することを示した．