[2J1-GS-2] 機械学習: ガウス過程モデル

[2J1-GS-2-02] Neural Process によるメタ学習にもとづくベイズ最適化

〇河野 慎¹、熊谷 亘²、松井 孝太²、岩澤 有祐¹、松尾 豊¹ (1. 東京大学、2. 理研AIP)

キーワード：ベイズ最適化、ニューラル過程、深層学習

ベイズ最適化は，ブラックボックス関数を確率モデルに基づいて，可能な限り少ない観測点で最適化する技術であり，その予測にガウス過程(GP)回帰が一般的に広く使われている．本研究では、評価対象の関数に類似した関数に低コストで問い合わせが可能な状況でのベイズ最適化に取り組む．本論文では、予測の不確実性を考慮した深層生成モデルであるニューラル過程（NP）を代理モデルとして使用したベイズ最適化手法BONPを提案する．NPはメタ学習に利用することができる一方で，多くの場合与えられた観測点を無視し、under-fittingを引き起こしてしまう問題がある．この問題を回避するため，観測点を関数空間に写像する新しいDot-CNPも提案する．実験では，1次元の合成関数を使用した回帰問題と3種類のテスト関数におけるベイズ最適化問題を扱い，提案した方法の有効性を示した．