14:05 〜 14:25
[S23-04] [招待講演]Physics-informed neural networksと粒子ベース変分推論による地震波トモグラフィの不確かさ定量化
人工・自然の地震波の走時から地球内部の地震波速度構造を知るための地震波トモグラフィにおいては、速度構造自体の推定は当然ながら、推定値の不確かさを定量化することも、解析結果の信頼性を担保する上で重要である。ベイズ推定を地震波トモグラフィに導入することで、走時の観測データ、走時データに含まれるノイズ、対象地域の地震波速度に関する事前知識などに基づき、推定した速度構造の事後確率分布を求めた研究例は多く存在する（Bodin et al., GJI, 2009など）。他方、微分方程式から拘束を与えた深層ニューラルネットワーク（DNN）により微分方程式や逆問題を解くPhysics-informed neural networks (PINN)(Raissi et al., JCP, 2019)が注目を集めている。PINNは、方程式に含まれる関数をDNNで直接近似し、関数が方程式を満たすようにDNNを自動微分を用いて最適化して求解を行う。地震波トモグラフィに関しても適用が進められ、拡張性の高さ、メッシュフリーであること、推定の際に地震波速度の初期モデルを必要としないこと、などの利点が示されている(Waheed et al., arXiv, 2021)。これより、PINNに基づいた地震波トモグラフィを、ベイズ統計学に基づく不確かさ定量化に拡張することは有意義であると考えられる。
本研究では、PINNに基づいた地震波トモグラフィにベイズ推定を導入することを試みる。これは、DNNを構成する重みパラメータをベイズ推定するベイズニューラルネットワーク(BNN)の問題に分類される。対象とする問題は、地震波トモグラフィに対するPINNのベイズ定式化と、適切なBNNの推定、の二つに分解できる。後者について、大規模問題への拡張を見据え、粒子ベース変分推論（例えばStein variational gradient descent, Liu et al., NIPS, 2016)のPINNへの導入(Sun et al., TAML, 2020)を考える。粒子ベース変分推論は、多数の粒子で近似的に表現した確率分布と真の事後確率分布との差を表す汎関数を、粒子を逐次アップデートしながら最小化し、近似的な事後確率分布を得る。BNNによく用いられるハミルトニアンモンテカルロ法などのサンプリング手法に比べ、アルゴリズムの並列性が高い点、またより少ない粒子（サンプル）数で効率よく事後確率分布を近似できる点で、大規模問題への拡張性が高いと考えられる。ただ、DNNがある程度複雑で、重みパラメータの事後確率分布の多峰性が強くなりやすい場合、粒子ベース変分推論によるBNNでは不確かさを過小評価しやすくなるとの報告がある(Wang et al., ICLR, 2019など)。そこで本研究では、重みの空間ではなく、DNNで近似する地震波速度などの関数の空間において、ベイズ・粒子ベース変分推論の定式化を行う。最適化の毎ステップにおいて、関数の値に対して計算される更新幅を重み空間に逐次変換することで、各DNN粒子を最適化していく(Wang et al., ICLR, 2019)。関数空間においては、事後確率分布の形状がより単純だと考えられることから、粒子ベース変分推論による事後分布推定がより容易に実施できると期待される。
既往研究（Zhang et al., JGR, 2020）を参考に、P波速度が2km/sの領域の中に1km/sの円形低速度領域が一つ存在する速度構造を、低速度領域を囲む発振点・観測点を用いて推定する数値実験を設定した。速度構造の事前分布には一様分布を用いた。提案手法である、関数空間における粒子ベース変分推論に基づくPINNを用い、P波到達時刻を用いた速度構造とその不確かさの推定を行った。重み空間についてベイズ推定する通常の粒子ベース変分推論に基づく手法を用いて同じ問題を解き、結果を比較した。双方について、速度構造の推定値として妥当なものが得られた。また不確かさ推定においては、波線の通る部分・通らない部分でそれぞれ不確かさが大きく・小さく推定された。一方、通常の粒子ベース変分推論に基づく手法では、波線の通る・通らないに関わらず、不確かさが過小評価されていることが示唆される結果を得た。提案手法において導入された関数空間に注目したベイズ推定が、PINNを用いた地震波トモグラフィの不確かさ定量化に対してより有効であることが示唆される。一方、提案手法であっても、従来の数値シミュレーションベースの推定結果（Zhang et al., JGR, 2020）と比べ、全体として不確かさが小さめに推定されたことは特徴的であった。これは、対象領域のうち、走時データからの拘束が弱い（つまりデータの説明度合いに影響しない）領域について、DNNがより少ないパラメータで速度構造を表現するように学習した結果、不確かさが小さく推定されたものと考えられる。これはPINNによる速度構造や走時の関数の学習がブラックボックスなパラメータ化を伴っていることに起因しており、地震波トモグラフィ等の推定にPINNを用いる際にユーザが注意すべき点も併せて示唆されたといえる。
本研究では、PINNに基づいた地震波トモグラフィにベイズ推定を導入することを試みる。これは、DNNを構成する重みパラメータをベイズ推定するベイズニューラルネットワーク(BNN)の問題に分類される。対象とする問題は、地震波トモグラフィに対するPINNのベイズ定式化と、適切なBNNの推定、の二つに分解できる。後者について、大規模問題への拡張を見据え、粒子ベース変分推論（例えばStein variational gradient descent, Liu et al., NIPS, 2016)のPINNへの導入(Sun et al., TAML, 2020)を考える。粒子ベース変分推論は、多数の粒子で近似的に表現した確率分布と真の事後確率分布との差を表す汎関数を、粒子を逐次アップデートしながら最小化し、近似的な事後確率分布を得る。BNNによく用いられるハミルトニアンモンテカルロ法などのサンプリング手法に比べ、アルゴリズムの並列性が高い点、またより少ない粒子（サンプル）数で効率よく事後確率分布を近似できる点で、大規模問題への拡張性が高いと考えられる。ただ、DNNがある程度複雑で、重みパラメータの事後確率分布の多峰性が強くなりやすい場合、粒子ベース変分推論によるBNNでは不確かさを過小評価しやすくなるとの報告がある(Wang et al., ICLR, 2019など)。そこで本研究では、重みの空間ではなく、DNNで近似する地震波速度などの関数の空間において、ベイズ・粒子ベース変分推論の定式化を行う。最適化の毎ステップにおいて、関数の値に対して計算される更新幅を重み空間に逐次変換することで、各DNN粒子を最適化していく(Wang et al., ICLR, 2019)。関数空間においては、事後確率分布の形状がより単純だと考えられることから、粒子ベース変分推論による事後分布推定がより容易に実施できると期待される。
既往研究（Zhang et al., JGR, 2020）を参考に、P波速度が2km/sの領域の中に1km/sの円形低速度領域が一つ存在する速度構造を、低速度領域を囲む発振点・観測点を用いて推定する数値実験を設定した。速度構造の事前分布には一様分布を用いた。提案手法である、関数空間における粒子ベース変分推論に基づくPINNを用い、P波到達時刻を用いた速度構造とその不確かさの推定を行った。重み空間についてベイズ推定する通常の粒子ベース変分推論に基づく手法を用いて同じ問題を解き、結果を比較した。双方について、速度構造の推定値として妥当なものが得られた。また不確かさ推定においては、波線の通る部分・通らない部分でそれぞれ不確かさが大きく・小さく推定された。一方、通常の粒子ベース変分推論に基づく手法では、波線の通る・通らないに関わらず、不確かさが過小評価されていることが示唆される結果を得た。提案手法において導入された関数空間に注目したベイズ推定が、PINNを用いた地震波トモグラフィの不確かさ定量化に対してより有効であることが示唆される。一方、提案手法であっても、従来の数値シミュレーションベースの推定結果（Zhang et al., JGR, 2020）と比べ、全体として不確かさが小さめに推定されたことは特徴的であった。これは、対象領域のうち、走時データからの拘束が弱い（つまりデータの説明度合いに影響しない）領域について、DNNがより少ないパラメータで速度構造を表現するように学習した結果、不確かさが小さく推定されたものと考えられる。これはPINNによる速度構造や走時の関数の学習がブラックボックスなパラメータ化を伴っていることに起因しており、地震波トモグラフィ等の推定にPINNを用いる際にユーザが注意すべき点も併せて示唆されたといえる。