15:45 〜 16:00
[STT44-02] 航空写真画像の深層学習を用いた地震による建物被害判別手法の汎化にむけた開発
★招待講演
キーワード：深層学習、畳み込みニューラルネットワーク、リモートセンシング、状況把握、航空写真、ベイズ更新
防災科研では災害発生直後の意思決定支援を目的としてリアルタイム被害推定・状況把握システムの開発を進めている．本研究では，地震動に基づくリアルタイム被害推定の不確実性を補完する手段として，リモートセンシング画像を用いて広域の建物被害状況を迅速に把握し，さらに被害推定結果を逐次的に更新する手法を開発した．
これまで我々は，広域性，機動性，解像度の面で優位性をもつ航空写真を対象とし，熊本地震本震後に取得された航空写真の目視判読に基づいた被害区分を教師データとし，畳み込みニューラルネットワーク(CNN)を用いた深層学習により建物被害を自動判別する手法を開発してきた．しかし，このモデルは学習に使用した画像に最適化されており，新たに取得された画像に適用した場合に被害判別性能が低下する可能性が高い．
本研究においては，熊本地震本震だけでなく，兵庫県南部地震，東北地方太平洋沖地震においてそれぞれ取得された，オルソ化された垂直航空写真を用いて教師データを作成した．また，これらを同時に学習させることにより汎化性能の高い被害判別モデルを構築した．
まず，各地震直後に取得された航空写真を用いて，目視判読によりLEVEL1（無被害），LEVEL2（屋根の一部が破損），LEVEL3（屋根の大半が破損），LEVEL4（倒壊，層破壊）の4段階に区分した．また，屋根形状が陸屋根等，平らな建物を非木造，それ以外を木造に区分し，国土地理院の基盤地図情報（建築物）ポリゴンを用いてGIS形式で整理し，これらを教師データとして活用した．
次に，各時期の画像において解像度が異なるため，高解像度のデータのサイズを縮小することにより，解像度を1画素あたり約20cmに正規化した．また，画像全体の明るさが異なるため，輝度ヒストグラムの累積和を用いて輝度の正規化を行った．
続いて，各航空写真から一般的な住家1棟の大部分が含まれる大きさの80pixel四方のパッチ画像をそれぞれ自動取得し，各被害レベルが概ね均等に含まれるよう，合計311,281個のパッチ画像を切り出した．
さらに，VGG（K.Simonyan and Z.Zisserman, 2014）を参考に構築したCNNを用いて，これら全てのパッチ画像を用いた学習を行い，被害判別モデルを構築した．このモデルを用いて，3地震から抽出した，学習に使用していない検証用画像を用いた被害判別を実施した結果，全ての被害レベルにおいて70%以上の判別精度をもつモデルを構築することができた．
また本研究では，航空写真画像全域を80pixelパッチ毎に，ストライド幅20pixelずつスキャンし，深層学習による被害判別結果を画像として出力する．次に，この画像と建物ポリゴンをオーバーラップさせ，各ポリゴン内の被害区分の面積比率に応じて設定した閾値に基づいて建物毎の被害区分を行う．さらに，250mメッシュ毎に全壊，全半壊に相当する建物の棟数を集計する手法を開発した．なお，本手法においては熊本地震本震後の益城町周辺における被害認定調査結果と航空写真目視判読結果との棟数比率の比較により，LEVEL3以上を全壊，LEVEL2以上を全半壊とみなしている．
これにより，航空写真を用いて広域の建物被害状況を即時的に把握することが可能になる．さらに，ベイズ更新を用いた被害棟数の推定手法（日下ほか，2017）を適用することにより，地震動に基づき推定された250mメッシュ毎の推定全壊，全半壊棟数をより高精度なものに更新することが可能になる．検証のため，熊本地震本震後の益城町周辺の航空写真を使用した深層学習による被害判別結果を用いて，同地域におけるリアルタイム被害推定結果のベイズ更新を行った結果，熊本市等で過大になっていた被害推定結果が実被害に近づくことを確認している．
以上のことから，航空写真を用いた即時的な状況把握により，被害推定の精度を向上させることが可能であり，災害対応において有効活用できる可能性が示された．一方で，上空からの航空写真のみに基づく被害判別では，瓦屋根以外の建築物の被害については過小に評価する，あるいは，航空機の光学センサでは雲の多い時間帯や夜間においては観測が不可能であるといった課題がある．
今後は異種のプラットフォーム，センサにより取得された情報を有効活用し，より迅速かつ高精度な被害状況把握技術を開発することにより，災害対応初動期，および復旧，復興の各段階へ活用可能なシステム構築を目指していきたい．
謝辞：
本研究は戦略的イノベーション創造プログラム（SIP）「レジリエントな防災・減災機能の強化」によって実施された。教師データ作成にあたりArcGISを，画像解析にあたりOpenCVおよびPythonを使用した．深層学習フレームワークとしてはKerasを使用した．
これまで我々は，広域性，機動性，解像度の面で優位性をもつ航空写真を対象とし，熊本地震本震後に取得された航空写真の目視判読に基づいた被害区分を教師データとし，畳み込みニューラルネットワーク(CNN)を用いた深層学習により建物被害を自動判別する手法を開発してきた．しかし，このモデルは学習に使用した画像に最適化されており，新たに取得された画像に適用した場合に被害判別性能が低下する可能性が高い．
本研究においては，熊本地震本震だけでなく，兵庫県南部地震，東北地方太平洋沖地震においてそれぞれ取得された，オルソ化された垂直航空写真を用いて教師データを作成した．また，これらを同時に学習させることにより汎化性能の高い被害判別モデルを構築した．
まず，各地震直後に取得された航空写真を用いて，目視判読によりLEVEL1（無被害），LEVEL2（屋根の一部が破損），LEVEL3（屋根の大半が破損），LEVEL4（倒壊，層破壊）の4段階に区分した．また，屋根形状が陸屋根等，平らな建物を非木造，それ以外を木造に区分し，国土地理院の基盤地図情報（建築物）ポリゴンを用いてGIS形式で整理し，これらを教師データとして活用した．
次に，各時期の画像において解像度が異なるため，高解像度のデータのサイズを縮小することにより，解像度を1画素あたり約20cmに正規化した．また，画像全体の明るさが異なるため，輝度ヒストグラムの累積和を用いて輝度の正規化を行った．
続いて，各航空写真から一般的な住家1棟の大部分が含まれる大きさの80pixel四方のパッチ画像をそれぞれ自動取得し，各被害レベルが概ね均等に含まれるよう，合計311,281個のパッチ画像を切り出した．
さらに，VGG（K.Simonyan and Z.Zisserman, 2014）を参考に構築したCNNを用いて，これら全てのパッチ画像を用いた学習を行い，被害判別モデルを構築した．このモデルを用いて，3地震から抽出した，学習に使用していない検証用画像を用いた被害判別を実施した結果，全ての被害レベルにおいて70%以上の判別精度をもつモデルを構築することができた．
また本研究では，航空写真画像全域を80pixelパッチ毎に，ストライド幅20pixelずつスキャンし，深層学習による被害判別結果を画像として出力する．次に，この画像と建物ポリゴンをオーバーラップさせ，各ポリゴン内の被害区分の面積比率に応じて設定した閾値に基づいて建物毎の被害区分を行う．さらに，250mメッシュ毎に全壊，全半壊に相当する建物の棟数を集計する手法を開発した．なお，本手法においては熊本地震本震後の益城町周辺における被害認定調査結果と航空写真目視判読結果との棟数比率の比較により，LEVEL3以上を全壊，LEVEL2以上を全半壊とみなしている．
これにより，航空写真を用いて広域の建物被害状況を即時的に把握することが可能になる．さらに，ベイズ更新を用いた被害棟数の推定手法（日下ほか，2017）を適用することにより，地震動に基づき推定された250mメッシュ毎の推定全壊，全半壊棟数をより高精度なものに更新することが可能になる．検証のため，熊本地震本震後の益城町周辺の航空写真を使用した深層学習による被害判別結果を用いて，同地域におけるリアルタイム被害推定結果のベイズ更新を行った結果，熊本市等で過大になっていた被害推定結果が実被害に近づくことを確認している．
以上のことから，航空写真を用いた即時的な状況把握により，被害推定の精度を向上させることが可能であり，災害対応において有効活用できる可能性が示された．一方で，上空からの航空写真のみに基づく被害判別では，瓦屋根以外の建築物の被害については過小に評価する，あるいは，航空機の光学センサでは雲の多い時間帯や夜間においては観測が不可能であるといった課題がある．
今後は異種のプラットフォーム，センサにより取得された情報を有効活用し，より迅速かつ高精度な被害状況把握技術を開発することにより，災害対応初動期，および復旧，復興の各段階へ活用可能なシステム構築を目指していきたい．
謝辞：
本研究は戦略的イノベーション創造プログラム（SIP）「レジリエントな防災・減災機能の強化」によって実施された。教師データ作成にあたりArcGISを，画像解析にあたりOpenCVおよびPythonを使用した．深層学習フレームワークとしてはKerasを使用した．