[S21P-01] 劣決定問題における物理深層学習の解の正則性について
地球物理に現れる多くの問題は、解を求めるのに必要なだけの拘束条件を持たない。逆解析でいえば、データの数より多くのパラメターを決める問題がこれにあたる。例えば地震時断層滑りの推定は、断層上の任意座標点のすべりベクトルという、形式的には無限個のパラメターを推定する。断層破壊シミュレーション等の順解析でも、断層摩擦則といった、解くべき方程式それ自体の妥当性が問われる場面は少なくない。解を求めるだけの拘束条件がない方程式系を解くこれらの問題は、一般に劣決定(不良決定)問題と呼ばれ、その求解法の研究史は長い(Shishatskii et al., 1986)。劣決定問題を扱う際は、正則化と呼ばれる、補助条件の追加操作によって問は良決定形に書き直される。地震学者に馴染みのある、ベイズ推定における先験的拘束(Jackson, 1979)はその例である。正則化の補助条件(smoothing, 摩擦則, etc.)は全く恣意的なものだが、劣決定問題の解はこれに依存する。それゆえ、劣決定問題では正則化に由来する解のバイアスが問題である。実際、滑りインバージョンでは先験的拘束の選択に関して議論が尽きない (e.g., Gallovič et al., 2015)。
これと全く別に機械学習から、物理深層学習(Physics-Informed Neural Network, PINN)は、良決定問題を解くシミュレーション技法として現れた(Raissi et al., 2019)。だが驚くことに、PINNは特段の正則項の追加なしに劣決定問題を解けることがごく最近岡崎ほか(2024, 地震学会)で指摘されている。解けるだけの条件がないはずの問題が解けてしまうとは、暗黙のうちに問題に補助条件が付与されたことを強く示唆する。本研究は、このPINN解析の暗黙の正則化を、物理問題の変分原理の観点から追求し、理論予測を組み立てた後PINNの挙動と比較していく。
PINNは、座標を入れると値を返す関数として偏微分方程式の解を学習する一群のneural networkの一種であり、所与の偏微分方程式および境界条件からの残差を最小化するよう定式化される。万能近似(Hornik et al., 1989)でもって理想的にはneural networkがこの学習問題を完全に解けるなら、上記のPINN正則化の要因はこの定式化自体に帰せられる。このPINNの定式化は、関数(解)の形をずらす微分操作(変分)で目的関数の極値を求める変分解法になっている。片や、物理方程式の殆どは、元々が最小化関数(作用、エネルギー、etc.)の停留点として導かれ、これは物理方程式の変分原理として知られる。ラグランジュ未定乗数法を経由すると、物理方程式の変分原理は標準的PINN (o-PINN)と違う損失関数を使う別のPINNを与える(conservative PINN, c-PINN; Jagtap, 2020)。これを踏まえるに、o-PINNが本来c-PINN的に定義される物理問題の別解法であることは明らかだろう。
変分原理の目的関数は性質が良いので、我々はまずc-PINNの正則化から調べた。結果、c-PINNの運動方程式の損失関数の最小化が、運動方程式の成立に加えて、実は境界条件に正則化の拘束を課していることを見つけた。つまり、境界条件が完全に定まっている良決定問題ではc-PINNは問題の解を与えるが、境界条件が定まりきらない劣決定問題では、c-PINNは自身の正則化項を最小化するようにして解を正則化する。面白いことに、c-PINNの正則化は、静問題において、境界(外界)が系になす仕事の最小化(系のエネルギーの最小化)になっていた。系のエネルギー最小化が外界と接する閉鎖系の熱力学原理であることを思い出すに、c-PINNは力学原理というよりは熱力学原理を反映した解法であるわけだ。類似の正則化項が、o-PINNにも見られ、これはtraction-free conditionに類似のforce-free conditionであるらしい。断層破壊でいえば、これは非弾性歪を減らす正則化である。
さらに我々は、半平面面外滑り問題(2次元ラプラス方程式)を例に、理論予測を順・逆問題で検証した。まず、o-/c-PINNが良決定問題を解けるかを確かめた。意外にも、この設定ではo-PINNは解に収束しなかった。面外滑り問題においては、force-free constraintは離散長の逆二乗で重み付けられた滑りの勾配(転位)に関する減衰を課すことになり、o-PINNの正則項は変位不連続な解を再現するには強すぎるのだと解釈できる。Okazaki et al. (2022)のように、方程式損失に破壊先端からの距離の二乗を乗じて正規化した場合(正規化o-PINN)、この問題は回避された。一方、c-PINNは、一定滑りの問題(転位問題)では、損失評価の乱択近似から決まる実効的散化長よりも短波長で、破壊先端の滑りの値を丸める傾向があった。これは、歪エネルギー密度が発散する転位解をなます傾向として説明できる。このようにc-PINNは概ね理論通りだが、o-PINNは理論と相違する挙動も確認された。次に、境界条件の一部をマスクした劣決定な順問題で挙動を検証した。結果、正規化o-PINNはforce-free constraintが0になる破壊先端まで滑りが減らない(転位が生じない)ように、c-PINNは滑りがなす仕事を減らすように、解を正則化した。境界要素法で計算した最小仕事の理論解は、c-PINNの解と整合的であり、c-PINNは確かにエネルギー最小化で解を正則化しているらしい。逆解析の詳細はポスターで説明する。本発表で見た通り、劣決定問題において、損失関数の設計に依存する解の暗黙の正則化にPINNは影響されている。
これと全く別に機械学習から、物理深層学習(Physics-Informed Neural Network, PINN)は、良決定問題を解くシミュレーション技法として現れた(Raissi et al., 2019)。だが驚くことに、PINNは特段の正則項の追加なしに劣決定問題を解けることがごく最近岡崎ほか(2024, 地震学会)で指摘されている。解けるだけの条件がないはずの問題が解けてしまうとは、暗黙のうちに問題に補助条件が付与されたことを強く示唆する。本研究は、このPINN解析の暗黙の正則化を、物理問題の変分原理の観点から追求し、理論予測を組み立てた後PINNの挙動と比較していく。
PINNは、座標を入れると値を返す関数として偏微分方程式の解を学習する一群のneural networkの一種であり、所与の偏微分方程式および境界条件からの残差を最小化するよう定式化される。万能近似(Hornik et al., 1989)でもって理想的にはneural networkがこの学習問題を完全に解けるなら、上記のPINN正則化の要因はこの定式化自体に帰せられる。このPINNの定式化は、関数(解)の形をずらす微分操作(変分)で目的関数の極値を求める変分解法になっている。片や、物理方程式の殆どは、元々が最小化関数(作用、エネルギー、etc.)の停留点として導かれ、これは物理方程式の変分原理として知られる。ラグランジュ未定乗数法を経由すると、物理方程式の変分原理は標準的PINN (o-PINN)と違う損失関数を使う別のPINNを与える(conservative PINN, c-PINN; Jagtap, 2020)。これを踏まえるに、o-PINNが本来c-PINN的に定義される物理問題の別解法であることは明らかだろう。
変分原理の目的関数は性質が良いので、我々はまずc-PINNの正則化から調べた。結果、c-PINNの運動方程式の損失関数の最小化が、運動方程式の成立に加えて、実は境界条件に正則化の拘束を課していることを見つけた。つまり、境界条件が完全に定まっている良決定問題ではc-PINNは問題の解を与えるが、境界条件が定まりきらない劣決定問題では、c-PINNは自身の正則化項を最小化するようにして解を正則化する。面白いことに、c-PINNの正則化は、静問題において、境界(外界)が系になす仕事の最小化(系のエネルギーの最小化)になっていた。系のエネルギー最小化が外界と接する閉鎖系の熱力学原理であることを思い出すに、c-PINNは力学原理というよりは熱力学原理を反映した解法であるわけだ。類似の正則化項が、o-PINNにも見られ、これはtraction-free conditionに類似のforce-free conditionであるらしい。断層破壊でいえば、これは非弾性歪を減らす正則化である。
さらに我々は、半平面面外滑り問題(2次元ラプラス方程式)を例に、理論予測を順・逆問題で検証した。まず、o-/c-PINNが良決定問題を解けるかを確かめた。意外にも、この設定ではo-PINNは解に収束しなかった。面外滑り問題においては、force-free constraintは離散長の逆二乗で重み付けられた滑りの勾配(転位)に関する減衰を課すことになり、o-PINNの正則項は変位不連続な解を再現するには強すぎるのだと解釈できる。Okazaki et al. (2022)のように、方程式損失に破壊先端からの距離の二乗を乗じて正規化した場合(正規化o-PINN)、この問題は回避された。一方、c-PINNは、一定滑りの問題(転位問題)では、損失評価の乱択近似から決まる実効的散化長よりも短波長で、破壊先端の滑りの値を丸める傾向があった。これは、歪エネルギー密度が発散する転位解をなます傾向として説明できる。このようにc-PINNは概ね理論通りだが、o-PINNは理論と相違する挙動も確認された。次に、境界条件の一部をマスクした劣決定な順問題で挙動を検証した。結果、正規化o-PINNはforce-free constraintが0になる破壊先端まで滑りが減らない(転位が生じない)ように、c-PINNは滑りがなす仕事を減らすように、解を正則化した。境界要素法で計算した最小仕事の理論解は、c-PINNの解と整合的であり、c-PINNは確かにエネルギー最小化で解を正則化しているらしい。逆解析の詳細はポスターで説明する。本発表で見た通り、劣決定問題において、損失関数の設計に依存する解の暗黙の正則化にPINNは影響されている。