[4Rin1] インタラクティブ2

[4Rin1-69] ニューラルネットワーク学習におけるLARSによるバッチサイズ拡張効果と反復回数削減効果の検証

〇長沼 大樹¹、井手 達朗²、横田 理央¹ (1.東京工業大学、2.カリフォルニア大学アーバイン校)

キーワード：深層学習、分散深層学習

深層学習では極めて冗長な数のパラメータを持つ深層ニューラルネットワーク（DNN）を膨大な学習データを用いて学習することで他の機械学習手法を圧倒する高い性能を発揮している。一方で、DNNの学習には膨大な計算時間がかかるため、大規模並列化によって学習時間を短縮するのが喫緊の課題である。高速化を目的とした大きなバッチサイズでの深層学習であるラージバッチ学習では、バッチサイズを大きくすることで学習に必要な反復回数を削減し高速化を達成するが、近年の研究で巨大なバッチサイズの領域では反復回数削減の効果に限界があることが示されている。本研究では、ラージバッチ学習において広く用いられる学習率調整法であるLARSを適用した場合に、フルバッチ規模までバッチサイズを増加させた範囲での実験を行い，バッチサイズと必要となる反復回数の関係を検証した。検証の結果、LARSの必要反復数の削減効果が他の最適化手法に比べて高いことが明らかとなったほか、フルバッチでの学習においても他の最適化手法に比べて汎化性能の劣化を防ぐことを実験的に明らかにした。