[1S3-GS-2] Machine learning:

[1S3-GS-2-03] Riemannian Adaptive Optimization Using Local Coordinates

〇Jumpei Goto¹, Yohei Nakata¹ (1. Panasonic Holdings Corporation)

Keywords:stochastic optimization, Riemannian manifold, Adam

深層学習における過学習の抑制や学習の効率化のために，ニューラルネットワークの重み行列に直交制約や低ランク制約を課す手法が提案されている．これらの制約付き最適化問題はリーマン多様体上の制約なし最適化問題として定式化でき，リーマン多様体上の勾配降下法を適用することができる．一方で，現在の深層学習で広く使用されている最適化手法である Adam については，アルゴリズムの複雑さから，様々なリーマン多様体への一般化方法が提案されている．特に Adam をリーマン多様体上の手法として一般化する際には，降下方向をどのように接空間上で更新するかが問題となる．本研究では，接空間上の局所座標表示を用いて Adam をリーマン多様体へと拡張する方法を提案する．また，直交制約付き Vision Transformer の学習と low-rank adaptation の実験により，提案手法の有効性を確認する．