[3K3-J-2] 機械学習: 基礎モデルの分析と検証

[3K3-J-2-01] Batch Normalizationつき３層ニューラルネットワークの学習ダイナミクスの統計力学的定式化

〇高木 志郎¹、吉田 雄紀¹、岡田 真人¹ (1. 東京大学大学院新領域創成科学研究科)

キーワード：ニューラルネットワーク、バッチ正規化、統計力学

Batch Normalizationはニューラルネットワークの学習を高速化，安定化させ，汎化性能を向上させる方法として知られている．しかし，その知名度に比してBatch Normalizationがニューラルネットワークの学習ダイナミクスに与える影響についての理解は依然として不十分である．近年この問題に取り組むいくつかの研究が出てきているが，Batch Normalizationつきニューラルネットワークの学習ダイナミクスを解析的に導出した研究はほとんどない．学習ダイナミクスを導出することはBatch Normalizationが学習にどのような影響を与えているかについて理解する上で重要であるため，我々は統計力学的な手法を用いた先行研究を頼りに，Batch Normalizationつき３層ニューラルネットワークの学習ダイナミクスを解析的に導出した．具体的には，Batch Normalizationありのニューラルネットワークについて，系の大域的な挙動を表すオーダーパラメータの微分方程式を導出した．