[3S1-GS-2] 機械学習：

[3S1-GS-2-01] マルチタスクOne-Shot NAS におけるスーパーネット事前学習の影響調査

〇山口 陽太郎¹、谷垣 勇輝¹ (1. 大阪工業大学)

キーワード：NAS、マルチタスク、深層学習、多目的最適化

Neural Architecture Search(NAS)は，ニューラルネットワークの構造を自動的に設計する技術である．一般的なNASでは，ニューラルネットワークの学習を何度も行う必要があるため，多くの計算資源を必要とする．この問題を解決するアプローチに，訓練済みのスーパーネットを用いて重みを共有することにより計算コストを抑えるOne-Shot NASがある．しかし，多目的最適化では重みの共有が性能の劣化を招くという課題がある．また，多目的One-Shot NASにおいて，特定のタスクについて学習を行ったスーパーネットを別タスクに転移学習させることによる性能への影響については十分な議論が行われていない．本論文では，デコンポジションベースであるMOEA/Dを用いた探索を行い，別タスクのスーパーネットを用いたウォームアップ探索による探索性能を調査した．また，探索中に得られたモデルを用いてスーパーネットの重み更新を行うことによる探索性能への影響についても調査した．結果として，ウォームアップを用いた探索は，追加学習と組み合わせることにより大幅な探索性能の向上を示した．