17:15 〜 18:45
[SCG50-P01] 機械学習を用いた地震映像からの多クラス異常検出
キーワード：地震映像アーカイブ、機械学習、集客施設、多クラス異常検知
はじめに・要約
筆者らは，地震工学的な見地から，地震の揺れの最中を含む近年の実地震の映像をアーカイブし，それら地震映像データに対して分析を行っている[1]．また，近年では地震工学分野でもデータ駆動型アプローチによる機械学習モデルが提案されている（例えば，[2]）．本稿では，解像度が異なる９地震の地震映像データセットから，近年のコンピュータビジョン分野（以下，CV）の技法や機械学習を用いた多クラスの異常抽出を試みた．本稿において，多クラス異常検出とは，地震映像に映る事象・物体のうち３以上の分類結果を出力するモデルならびにその開発手法のことである．
研究目的
地震映像データから異常を検知する機械学習モデルの開発を行い，結果を評価しモデル改善につなげることで，地震直後の状況把握を省力化することを研究の目的とする．特に，地震映像に含まれる人的被害・物的被害のうち，物的被害カテゴリ内部のアノテーションタグ単位である，オブジェクト別の被害抽出を目視結果に匹敵する精度で取り出すことを中間目標とする．この目標に資するため，本稿では初期モデルとしてルールベースとCNNを用いた多クラス分類を実施する．
提案モデル
ルールベースのCVアルゴリズム（フレーム差分抽出系）とCNN（画像の分類器として利用）を組み合わせたモデルを構築する．フレーム差分抽出系では，ドット単位での差分量を計算する．動画ファイルを入力とし，各フレームをグレースケール化したうえで，同一座標にある画素値の差分（＝ドット単位での差分量）を計算し，差分画像を作成する．差分量の合計値を各フレームで比較し，差分量が多いフレームから順に出力する特徴フレームとして選定することで，地震動の影響などにより変化が多く見られるフレームを抽出する. 揺れにより生じた被害フレームの前後をそれぞれ正常と異常にラベリングした2値のクラス分類に加え，揺れの最中のフレームを3値目のラベルとして追加する．
実験手法
実映像では同じ対象物を同じ照明環境下で撮影していても，フレーム間で明るさに揺らぎが発生する．この揺らぎを抑えるため，フレーム間で取得した差分画像同士からさらに差分を計算する．ΣDiff を計算し，各フレームでの差分量とする．この差分量が大きいものから順に特徴フレームとして抽出する．これにより，地震映像のフレーム間で差が大きくなったフレームを出力する．続いて，CNNでまずは地震の時系列での分析結果，つまり，強震動の前のフレーム（正常フレーム），強震中フレーム，地震後（被害ありであれば異常フレーム）の３クラスでの分類を学習する．追加の仕方は[0,1,2]のような数値による付与ではなく，異常属性次元であれば[0,1,0]（強震中フレームの例），動画ID方向であれば自ID番目のみ[1]の値を与え，他のID次元は[0]とすることで，入力層ではすべての動画を等価に扱うOne-hotラベリングを利用する．さらに，物的異常のうち東・藤原2023 [1]において人力で付与した個別タグとの比較を行う．
結果と考察
まず，フレーム差分特徴量を利用した地震影響フレームの抽出と，抽出したフレームに対する異常検出結果を示す（図１）．次に，多クラスモデルによる異常内容の結果を示す．さらに，動画IDのOne-hotラベリングモデルと，人力タグの少数データ学習(Few-shot labeling)MLモデルの出力結果等を比較検証する（図のアップロード上限制約上，発表時に掲載とし，予稿では割愛する）．なお，監視カメラ映像をデータセットとした異常検知手法は複数あるが，検知した異常が地震（あるいはその影響）であると自動でラベリングできる方法はまだ見つかっていない．
謝辞
地震映像のアーカイブにあたっては，イオン株式会社のご協力を得ました．記して御礼申し上げます．
参考文献
[1] 東宏樹・藤原広行：集客施設の地震映像へのアノテーションによる異常抽出結果の分析, 日本地震工学会論文集, vol. 23, no. 5, pp. 5_1-5_20, 2023, doi: 10.5610/jaee.23.5_1.
[2] T. Okazaki, N. Morikawa, A. Iwaki, H. Fujiwara, T. Iwata, and N. Ueda, “Ground-Motion Prediction Model Based on Neural Networks to Extract Site Properties from Observational Records,” vol. 111, 2021, doi: 10.1785/0120200339.
筆者らは，地震工学的な見地から，地震の揺れの最中を含む近年の実地震の映像をアーカイブし，それら地震映像データに対して分析を行っている[1]．また，近年では地震工学分野でもデータ駆動型アプローチによる機械学習モデルが提案されている（例えば，[2]）．本稿では，解像度が異なる９地震の地震映像データセットから，近年のコンピュータビジョン分野（以下，CV）の技法や機械学習を用いた多クラスの異常抽出を試みた．本稿において，多クラス異常検出とは，地震映像に映る事象・物体のうち３以上の分類結果を出力するモデルならびにその開発手法のことである．
研究目的
地震映像データから異常を検知する機械学習モデルの開発を行い，結果を評価しモデル改善につなげることで，地震直後の状況把握を省力化することを研究の目的とする．特に，地震映像に含まれる人的被害・物的被害のうち，物的被害カテゴリ内部のアノテーションタグ単位である，オブジェクト別の被害抽出を目視結果に匹敵する精度で取り出すことを中間目標とする．この目標に資するため，本稿では初期モデルとしてルールベースとCNNを用いた多クラス分類を実施する．
提案モデル
ルールベースのCVアルゴリズム（フレーム差分抽出系）とCNN（画像の分類器として利用）を組み合わせたモデルを構築する．フレーム差分抽出系では，ドット単位での差分量を計算する．動画ファイルを入力とし，各フレームをグレースケール化したうえで，同一座標にある画素値の差分（＝ドット単位での差分量）を計算し，差分画像を作成する．差分量の合計値を各フレームで比較し，差分量が多いフレームから順に出力する特徴フレームとして選定することで，地震動の影響などにより変化が多く見られるフレームを抽出する. 揺れにより生じた被害フレームの前後をそれぞれ正常と異常にラベリングした2値のクラス分類に加え，揺れの最中のフレームを3値目のラベルとして追加する．
実験手法
実映像では同じ対象物を同じ照明環境下で撮影していても，フレーム間で明るさに揺らぎが発生する．この揺らぎを抑えるため，フレーム間で取得した差分画像同士からさらに差分を計算する．ΣDiff を計算し，各フレームでの差分量とする．この差分量が大きいものから順に特徴フレームとして抽出する．これにより，地震映像のフレーム間で差が大きくなったフレームを出力する．続いて，CNNでまずは地震の時系列での分析結果，つまり，強震動の前のフレーム（正常フレーム），強震中フレーム，地震後（被害ありであれば異常フレーム）の３クラスでの分類を学習する．追加の仕方は[0,1,2]のような数値による付与ではなく，異常属性次元であれば[0,1,0]（強震中フレームの例），動画ID方向であれば自ID番目のみ[1]の値を与え，他のID次元は[0]とすることで，入力層ではすべての動画を等価に扱うOne-hotラベリングを利用する．さらに，物的異常のうち東・藤原2023 [1]において人力で付与した個別タグとの比較を行う．
結果と考察
まず，フレーム差分特徴量を利用した地震影響フレームの抽出と，抽出したフレームに対する異常検出結果を示す（図１）．次に，多クラスモデルによる異常内容の結果を示す．さらに，動画IDのOne-hotラベリングモデルと，人力タグの少数データ学習(Few-shot labeling)MLモデルの出力結果等を比較検証する（図のアップロード上限制約上，発表時に掲載とし，予稿では割愛する）．なお，監視カメラ映像をデータセットとした異常検知手法は複数あるが，検知した異常が地震（あるいはその影響）であると自動でラベリングできる方法はまだ見つかっていない．
謝辞
地震映像のアーカイブにあたっては，イオン株式会社のご協力を得ました．記して御礼申し上げます．
参考文献
[1] 東宏樹・藤原広行：集客施設の地震映像へのアノテーションによる異常抽出結果の分析, 日本地震工学会論文集, vol. 23, no. 5, pp. 5_1-5_20, 2023, doi: 10.5610/jaee.23.5_1.
[2] T. Okazaki, N. Morikawa, A. Iwaki, H. Fujiwara, T. Iwata, and N. Ueda, “Ground-Motion Prediction Model Based on Neural Networks to Extract Site Properties from Observational Records,” vol. 111, 2021, doi: 10.1785/0120200339.