[2M5-OS-24] AutoML（自動機械学習）

[2M5-OS-24-04] 異なるモデルサイズ制限に対するNeural Architecture Searchにおける複数構造探索

〇西本 暁道¹、斉藤 翔汰^1,2、広瀬 陽一¹、内田 絢斗¹、白川 真一¹ (1. 横浜国立大学、2. 株式会社スキルアップNeXt)

キーワード：ニューラルアーキテクチャサーチ、制約付きブラックボックス最適化、畳み込みニューラルネットワーク、確率モデルに基づく最適化

ニューラルネットワークの構造を探索するNeural Architecture Search (NAS)において，モデルサイズや推論時間の制限などのデバイスのリソースを考慮した手法が開発されている．既存研究の多くは単一のデバイスの制限を考慮した構造の獲得を目的としているが，デバイスの多様化により，複数のデバイスに対する構造を効率的に獲得手法が求められている．本研究では異なるモデルサイズ制限を満たす複数の構造を一度の探索で獲得するNASを提案する．提案手法では各モデルサイズ制限に対応した構造を生成する確率モデルの混合分布を導入し，混合分布からのサンプルの評価を通じて各確率モデルを更新することで構造探索を実現する．また各確率モデルに対して係数適応を導入したペナルティ関数法を導入することで，モデルサイズ制限を満たす構造の獲得を目指す．さらに探索後の混合分布からモデルサイズ制限を満たす構造を生成するためのサンプリング戦略を導入する．評価実験では混合分布を用いた従来手法との比較を行い，複数のデータセットにおいて提案手法はモデルサイズ制限を満たす予測性能の良い構造の獲得ができること確認した．