[3J3-OS-3a] AutoML（自動機械学習）(1/2)

[3J3-OS-3a-02] ユーザの選好推定に基づく多目的ベイズ最適化によるハイパーパラメータ最適化

〇尾崎 令拓¹、高木 優介¹、烏山 昌幸¹、竹内 一郎^1,2 (1. 名古屋工業大学、2. 理化学研究所)

キーワード：AutoML、ニューラルネットワーク、ハイパーパラメータ最適化、多目的ベイズ最適化、選好学習

AutoMLでは機械学習モデルのハイパーパラメータ自動最適化を考えるが，どのような指標（目的関数）に基づいて最適化を行うべきなのかが，一意に決められないことがある．例えば，モデルの精度とメモリサイズや，偽陽性と偽陰性（より一般には，多クラス分類における混同行列の要素全て）などトレードオフのある複数の目的関数に対し，どれをどの程度重視するのかはユーザによって異なる．本発表では，目的関数に対するユーザの好み（選好）を導入した多目的ベイズ最適化によるハイパーパラメータ最適化の枠組みを提案する．選好の表現としては具体的な達成目標を設置したり，指標の空間で方向を指定するような方法が考えられるが，指定した目標が達成できるかは予めわからないことや，具体的な数値をユーザに指定させることが難しいことも多い．そこで，提案法では選好を「過去の結果に対する比較」や，「過去の結果に対する改善要望」といったユーザが与えやすい情報からベイズ的に推定する．実験として，多クラス分類のためのニューラルネットワークのハイパーパラメータ最適化問題において，ユーザの選好に基づく最適解を効率的に発見できる状況があることを示す．