[4B2-GS-1] 基礎・理論 (1)

[4B2-GS-1-05] ニューラルネットワークの学習と特異点

〇一色 智裕¹ (1. （株）クリエイターズ・ヘッド )

キーワード：ニューラルネットワーク、学習、特異点、ネオコグニトロン、ウェーブレット

深層学習の学習の対象のパターンは甘利に指摘されているようにニューロ多様体であり、ニューロ多様体は特異点を持つ。また、特異点を持つと学習が本来はうまくいかない。にもかかわらず、ニューラルネットワークの中間層を増やす事で深層学習は精度よく学習できる。

その理由を広中の特異点解消定理を用い以下のロジックで展開して行く。

バックプロパゲーションを深層学習で用いると、低い次元の情報空間となる上位層から高い次元の情報空間となる下位層へと学習を進める。また、層を増やすことは情報空間の次元を増やすことになる。即ち、層を増やすことにより情報空間の次元が増え、バックプロパゲーションによって低い情報空間の次元から高い情報空間の次元へと学習が行われ、広中の特異点解消定理で示されている特異点解消が起きる。その結果、特異点を持つニューロ多様体の特異点が解消される。その事は甘利、広中の研究から数学的に保証される。
また、CNNの源流の一つであるネオコグニトロンとウェーブレットとは関係がある。その事についても証明を行う。