[4I3-GS-11] AIと社会：

[4I3-GS-11-02] 信号伝播過程におけるスケーリング則に基づく深層学習設計手法の拡張

〇玉井 敬一¹、大久保 毅¹、ズイ チュオン　ビン　チュオン²、藤堂 眞治¹ (1. 東京大学、2. （株）アイシン)

キーワード：深層学習、neural tangent kernel、スケーリング則

深層学習技術を人類社会にとって持続可能な形で発展させていく上で，深層ニューラルネットワークの系統的な設計手法の確立は避けがたい課題である．前回の人工知能学会では，深層ニューラルネットの信号伝播過程で見られるスケーリング則が，ネットワークの初期化条件や学習率・隠れ層深さの選定に有用であることを示す証拠を報告した．しかし，そこでは多層パーセプトロンの場合，なおかつ入力データの次元が低い場合のみを扱っており，応用上扱われるアーキテクチャおよびデータセットとは無視できない隔たりがある．本論文の目的は，この隔たりを小さくすることにある．まず，信号伝搬過程のスケーリング則をNeural Tangent Kernel (NTK)の固有値解析に取り入れた前回の手法を，入力データの次元が高い場合に拡張し，最適な隠れ層数や学習に必要な訓練データ量と入力データ次元の間の関係を議論する．その後，ネットワークがResNetのようにスキップ接続を持つ場合に関して，信号伝播過程ダイナミクスの定性的な変化およびそれに伴うNTK固有値スペクトルの差異を明らかにして，深層学習におけるスキップ接続の役割について議論する．