[1D1-GS-2] 機械学習：アルゴリズム

[1D1-GS-2-02] 自然勾配学習法における Damping 項のスケジューリング

〇長沼 大樹^1,2、藤森 岳³、武内 茉莉⁴、長瀬 准平⁵ (1. モントリオール大学、2. モントリオール学習アルゴリズム研究所、3. 東京理科大学、4. ユニバーシティ・カレッジ・ロンドン、5. 芝浦工業大学)

[[オンライン]]

キーワード：深層学習、二次最適化、Damping

自然勾配学習法の高速な近似手法の開発により、高い収束性を持つ二次最適化が深層学習においても用いられている。二次最適化においては、情報行列の逆行列計算が必要となるが、一般に深層学習の問題設定では情報行列は退化する。そのため、ヒューリスティックスとして、定数倍された単位行列を足し込む dampingと呼ばれる手法が用いられている。本研究では、Levenberg-Marquardt法による damping決定方法から着想を得て、dampingをスケジューリングする手法を提案し、その効果を検証した。