[1S5-GS-2] Machine learning:

[1S5-GS-2-01] Model Selection via Estimating Local Learning Coefficient in ReLU Neural Networks

〇Naoki Hayashi¹, Takuro Kutsuna¹, Sawa Takamuku² (1. TOYOTA CENTRAL R&D LABS., INC., 2. AISIN CORPORATION)

Keywords:singular learning theory, local learning coefficient, deep learning, information criterion, model selection

深層神経回路網の挙動を理解し、理論的な基盤に基づくモデル構築を行うことは、ひと中心の未来社会を実現する上で必要となる様々な領域、特に自動車や医療といった人命に直結する分野への応用にあたって重要な課題である。
特異学習理論では、モデルと真の分布が作る構造により定まる実対数閾値（学習係数）が、経験損失や汎化損失、自由エネルギーを支配する重要な要素とされている。この理論に基づき提案されたWAICやWBICは、統計モデル選択において広く使われている。しかし、深層神経回路網では高次元のパラメータ空間のため、従来のサンプリング手法で事後分布を実現するのが困難だった。近年、学習済みの重み近傍における損失ランドスケープを解析し、局所的な実対数閾値（局所学習係数）をスケーラブルな手法で推定しつつ、AIアラインメント実現を目指す研究が進展している。本研究では、特異学習理論に基づくモデル選択の有用性を検証するため、確率的Langevin力学（SGLD）を用い、ReLUネットワークの局所学習係数、WAIC、WBICを計算し、そのモデル選択精度を比較する数値実験を行った。