[1J3-OS-10] AutoML（自動機械学習）

[1J3-OS-10-02] 深層学習のハイパパラメータ最適化手法に求められる性質

〇渡邊 修平¹、野村 将寛²、大西 正輝¹ (1. 産業技術総合研究所、2. 株式会社サイバーエージェント)

キーワード：ハイパパラメータ最適化、ブラックボックス最適化、深層学習

昨今，画像認識等の分野において深層学習が著しい発展を遂げており，実世界においても応用が進んでいる．しかし，深層学習の性能は事前に設定する必要のあるハイパパラメータによって大きく左右されるため，ハイパパラメータ最適化が重要である．深層学習のハイパパラメータを効果的に最適化するためには探索空間の特徴を知る必要がある．本稿ではまず5次元のハイパパラメータ空間の探索と各点における深層学習の性能評価を行った．探索の結果得られたハイパパラメータと性能の関係性を回帰モデルで表現し，探索空間の特徴づけを行った．得られた特徴に基づいて，ブラックボックス最適化的な観点からハイパパラメータ最適化に求められる性質を紐解く．結論では実験から得られた知見に基づいてハイパパラメータ最適化の文脈で今後力を入れて取り組むべき問題を明らかにする．