[1S5-GS-2] 機械学習：

[1S5-GS-2-01] ReLUネットワークにおける局所学習係数推定手法のモデル選択への応用

〇林 直輝¹、沓名 拓郎¹、高椋 佐和² (1. 株式会社豊田中央研究所、2. 株式会社アイシン)

キーワード：特異学習理論、局所学習係数、深層学習、情報量規準、モデル選択

深層神経回路網の挙動を理解し、理論的な基盤に基づくモデル構築を行うことは、ひと中心の未来社会を実現する上で必要となる様々な領域、特に自動車や医療といった人命に直結する分野への応用にあたって重要な課題である。
特異学習理論では、モデルと真の分布が作る構造により定まる実対数閾値（学習係数）が、経験損失や汎化損失、自由エネルギーを支配する重要な要素とされている。この理論に基づき提案されたWAICやWBICは、統計モデル選択において広く使われている。しかし、深層神経回路網では高次元のパラメータ空間のため、従来のサンプリング手法で事後分布を実現するのが困難だった。近年、学習済みの重み近傍における損失ランドスケープを解析し、局所的な実対数閾値（局所学習係数）をスケーラブルな手法で推定しつつ、AIアラインメント実現を目指す研究が進展している。本研究では、特異学習理論に基づくモデル選択の有用性を検証するため、確率的Langevin力学（SGLD）を用い、ReLUネットワークの局所学習係数、WAIC、WBICを計算し、そのモデル選択精度を比較する数値実験を行った。