[3Rin4-24] ReLUパーセプトロンによる残差スキップ接続の構成および表現集合に基づくそれらのモデルの数理解析
キーワード：深層学習、表現能力、残差スキップ接続、数理解析、モデル設計
近年，機械学習の一分野である深層学習が様々な分野で成果を挙げている．深層学習で用いられる深層ニューラルネットは，「“任意”の関数を“任意”の精度で近似することができる」という万能近似性を有する強力な学習機械であることが知られている．この万能近似性から，理論上は単純な深層ニューラルネットを用いるだけで十分な表現能力をもつことになるが，実際にはより良い学習性能をもつとされる複雑なモデルが実験的に提案され続けており，それらのモデルに組み込まれている様々な構造・仕組みについての体系的な理論は未だ整備されていない．本研究では，深層学習モデルの設計を体系化することを目的として，表現集合の観点から残差スキップ接続の構造について考察する．表現集合は万能近似性とは異なる有限かつ離散の表現能力であり，深層学習モデルの対応関係を議論することができる．結果として，広く用いられているスキップ接続は単純なニューラルネットの素子数を増やすことで等価に構成できることを示した．特に，ReLUパーセプトロンがスキップ接続を持つ場合と持たない場合についての表現集合の評価を行う．また，PReLU関数との関係について議論する．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。