[A-CG47] 有人・無人航空機による気候・地球システム科学研究の推進

[ACG47-02] Neural radiance fields によって、2021 年台風16 号の航空機観測画像から新たな視点の画像を生み出す

*盛 拓矢¹、足立 佳隆¹、北島 栄司¹、山田 広幸¹、伊藤 耕介¹、宮田 龍太¹ (1.琉球大学)

キーワード：航空機観測、人工知能、台風

本研究では、山田らによる2021年の台風16号の航空機観測時に台風の眼の中に突入して撮影された映像を二次利用するため、機械学習モデルのNeRF（Neural Radiance Fields）を使用して、台風の眼や壁雲付近の画像を、映像とは異なる視点から生成した。
NeRFは数枚の画像から少し異なる視点の画像を生成でき、VR技術への応用が期待されるモデルである。

NeRFは、共通の特徴量を持つ複数枚の画像を学習データとして、COLMAPで推定した入力となる物体のカメラ位置と角度情報から、対応する色と密度を出力する多層ニューラルネットワークである。
また、推論時には、航空機の窓枠や主翼の影響を受けるため、E2FGVI（end-to-end framework for flow-guided video inpainting）を使用し、仮想的に削除する前処理を行った。
画像の類似度を測る客観評価尺度であるPSNRが最大となるモデルを使用し、NeRFで学習データに用いた画像データと、同じ画角の画像を生成した。数値計算により、眼の中に突入した画像が最低30枚あればNeRFで眼の付近の雲の外観を再現でき、トレーニング画像が増えるにつれて雲の詳細な筋の部分まで再現できることを確認した。

図1に示す結果のように、60枚の学習データを用いた場合、一部ノイズが見られたが、台風の眼付近の薄い雲の形状や、背景となる雲の隙間から見える海上の再現を成功させ、学習させていない視点からの画像も再現できた。