PM-1

[S22-03] 地震学分野におけるブラックボックス最適化問題へのベイズ最適化の適用：セントロイドモーメントテンソルインバージョンでの例

〇久保 久彦¹、吉田 圭佑²、木村 武志¹ (1.防災科学技術研究所、2.東北大学理学研究科附属地震噴火予知研究観測センター)

システムfへの入力xに対して出力yが得られる状況を考える（y=f(x)）。fは往々にして数学的に陽に書き下すことができない。具体的には、ある入力に対する出力を得ることはできるが、fの全体像に関係する情報（例えば勾配など）を得ることができない状態である。その場合のf はブラックボックス関数と呼ばれる。このようなブラックボックス関数fの出力を最大化（もしくは最小化）にする入力パラメータx*を見つける問題（ブラックボックス最適化問題）を考える。機械学習の分野における代表的なブラックボックス最適化問題として、ハイパーパラメータの最適化があげられる。ハイパーパラメータはデータの学習からは決定されないパラメータのことであり、学習前に設定する必要がある。ニューラルネットワークであれば中間層の層数や各層のニューロン数、活性化関数の種類、最適化手法の種類などがそれにあたり、機械学習アルゴリズムのパフォーマンスを最大限に引きだすには最適なハイパーパラメータの組み合わせを探索する必要がある。一般的に、ブラックボックス最適化問題に関しては、考えられるパラメータ空間をしらみつぶしに調べるグリッドサーチや、パラメータ空間をランダムに調べていくランダムサーチなどによる探索が行われてきた。しかしながら、それらの手法は計算コストが高く、特にパラメータ数が大きい場合には最適値にたどり着けないことがある。そこで、効率的な探索手法として、ベイズ最適化を適用することが近年多くなっている。ベイズ最適化は、可能な限り少ない試行回数でブラックボックス関数fの性質を解明し、それを最適化することを目的とした機械学習手法である。具体的には、（１）それまでに探索した入力とその結果として得られた出力の情報から、ガウス過程などに基づいて関数fを近似する代理モデルを構築する、（２）代理モデルに基づく獲得関数を最大化する探索点の候補を求める、（３）探索候補点での試行を行い、それに対する出力を新たに得る、（４）新たに得られた情報から代理モデルを更新する、という一連の流れを繰り返す。

ブラックボックス関数最適化問題へのベイズ最適化の適用は、機械学習分野だけにとどまらず、多くの科学分野で取り入れられつつある（例えば、Shields et al. 2021）。本研究は、地震学分野におけるブラックボックス関数最適化問題へのベイズ最適化の取入れを試みるものであり、具体的な事例としてセントロイドモーメントテンソルインバージョンにおけるセントロイド位置の推定問題を取り上げる。点震源仮定が成り立つとき、ある地点で観測される地震波形は点震源におけるモーメントテンソルの組み合わせと線形の形で結びつけることができる。そのため点震源の位置（セントロイド位置）が既知の場合には、モーメントテンソルインバージョンは線形問題となり、簡単に解くことができる。しかしながらセントロイド位置も同時に求めるセントロイドモーメントテンソルインバージョンにおいて、求めたいパラメータ（モーメントテンソルとセントロイド位置）と地震波形の関係は非線形となり、これまでの研究ではグリッドサーチによるパラメータ探索が行われてきた。この非線形問題は観測波形と理論波形の残差を最小にするパラメータを推定する問題であるが、波形残差の関数を最大にするパラメータを求めるブラックボックス関数最適化問題とみなすことができる。ここではセントロイド位置に関して水平方向および深さ方向の探索を行うセントロイドモーメントテンソルインバージョンを考える。

ベイズ最適化のツールとしてPreferred Networksによるオープンソースのハイパーパラメータ自動最適化フレームワークOptuna（Akiba et al. 2019）を用いた。Optunaはdefine-by-runスタイルのユーザAPIを有するpythonライブラリであり、各種のベイズ最適化アルゴリズムを備えているほか、様々な可視化や枝刈り、分散最適化の機能も有する。ベイズ最適化のアルゴリズムにはTree-structured Parzen Estimator (Bergstra et al. 2011, 2013)を用いた。

実解析を模擬した理論テストを試行的に行ったところ、ランダムサーチに比べてベイズ最適化の方が、同じ試行回数でより真値に近いセントロイド位置を推定することができることが確認された。