[4B3-GS-1] 基礎・理論 (2)

[4B3-GS-1-05] ニューラルネットワークの適応的最適化手法におけるヘッセ行列のスペクトル解析

〇本川 哲哉¹、手塚 太郎¹ (1. 筑波大学)

キーワード：深層学習、最適化、ヘッセ行列、損失曲面分析

ニューラルネットワークの学習において、Adamをはじめとする適応的最適化手法はSGDよりも早く収束することで知られており、近年様々な深層学習タスクでよく利用される。その反面で、SGDよりも最終的な収束パラメータの汎化性能が悪いという報告も見られる。しかしながらその原因解明はまだ進んでいない。本研究ではこの問題に対するアプローチとして、損失関数におけるヘッセ行列の固有値分布（Hessian spectrum）を分析することで収束パラメータ付近での損失関数の形状によってパラメータの良し悪しを考察した。近年、このようにHessian spectrumを分析することで学習のメカニズムを解釈する研究が増えてきている。本研究では、ニューラルネットワーク学習後のパラメータ空間においてSGD方がAdamに比べて局所的に平坦な形状に収束することを、いくつかの実用的な深層学習モデルを用いて実験的に示した。