[4D3-GS-2] 機械学習：基礎・理論

[4D3-GS-2-01] ADOPT: ハイパーパラメータに依存せずに最適レートで収束する適応的最適化アルゴリズムの提案

〇谷口 尚平¹、原田 憲旺¹、峰岸 剛基¹、大島 佑太¹、鄭 晟徹¹、長原 豪¹、飯山 燈¹、鈴木 雅大¹、岩澤 有祐¹、松尾 豊¹ (1. 東京大学)

キーワード：確率的最適化、Adam

Adamに代表される適応的最適化アルゴリズムは，深層学習で広く用いられている．しかし，Adamは，ハイパーパラメータを問題に応じて選択しないと収束しないことが知られている．その非収束性を修正する研究は，AMSGradなどでいくつかなされているが，それらは勾配ノイズが一様に有界であるという強い仮定を必要とする．本稿では，ADOPTという新しい適応的最適化アルゴリズムを提案する．ADOPTは，有界ノイズの仮定なしに，任意のハイパーパラメータでO(1/√T)のミニマックス最適な収束レートを達成し，Adamの非収束性を根本的に解決することができる．実験では，ADOPTが画像分類，生成モデル，言語モデル，強化学習を含む幅広いタスクにおいて，Adamなどと比較して同等かそれ以上の性能を発揮することを示し，その有効性を検証する．．