[M-IS09] 地球科学としての海洋プラスチック

[MIS09-10] 海岸漂着ごみ検出モデル構築のためのドローンとゲームエンジンを用いたデジタルツイン

*桑田 想大¹、加古 真一郎^1,2、杉山 大祐²、日髙 弥子²、松岡 大祐² (1.鹿児島大学大学院理工学研究科、2.海洋研究開発機構)

キーワード：海岸漂着ごみ、深層学習、セマンティック・セグメンテーション、デジタルツイン、ドローン、ゲームエンジン

海岸漂着ごみ問題に対して有効な対策を講じるには，海ごみを効率的に観測・定量化する手法を確立する必要がある．Hidaka et al. (2022)は深層学習手法の１つであるセマンティック・セグメンテーションを用いて，海岸漂着ごみを検出・定量可能な深層学習モデルを構築した．しかしながら，この手法で用いられた学習データは，海岸画像をあらかじめ指定したクラスを示す色に，各ピクセルを手作業で塗り分けることで作成されており，3,500枚の学習データを作成に対して，約4ヶ月を要している．そこで本研究では，ドローンとゲームエンジンを用いた全く新しい学習データの自動作成手法を提案し，その有用性と今後の課題を検証することを目的とした．仮想空間の構築には，Epic Game社が開発したゲームエンジンであるUnreal Engine 5(以下，UE5)を採用した．UE5は高品質なグラフィックスと物理演算エンジンを備えているため，現実空間のデータを基とするデジタルツインにとっては，非常に有用である．また，ドローン測量で得られる点群データをはじめとした多様なフォーマットのデータインポートが実現されており，仮想空間上において，現実に即したシミュレーションが可能となっている．さらに，物体の設置や色の塗り分けを自動で行えるため，セマンティック・セグメンテーションの学習データの作成に最適である．本研究では，ドローン測量で得られた点群データを用いてUE5内に再現した海岸地形に対して，予め作成した仮想人工ごみと自然ごみを自動配置し，その画像に対しての正解ラベルを自動出力するシステムを構築した．そして，Hidaka et al.(2022)と同様に，High-Resolution Network (HRNet; Sun et al., 2019; Wang et al., 2021)に対して，本研究で自動生成した学習データを入力することで，セマンティック・セグメンテーションによる海岸ごみを検出可能な深層学習モデルを構築した．このモデルとHidaka et al.(2022)のモデルを，海岸漂着ごみ画像に適用して，両者間のIoU，recall，precisionを比較することで，本システムの有用性と課題点を検証した．その結果，本システムが学習データの作成に対して非常に有効であることが示された．