10:45 〜 12:15
[MGI31-P05] 半教師あり学習に基づく気象衛星で得られた雲画像の領域分割技術の研究
キーワード：機械学習、画像セグメンテーション、衛星雲画像、半教師あり学習、教師あり学習
南極氷床の涵養量を把握するには、南極大陸における長期的な降雪量の推移を知る必要がある。しかし、電源の確保や超低温の状況により、南極大陸の氷床上に常時観測する測器を設置することが難しく、南極大陸における観測データは乏しい。また、南極域における降雪イベントを物理的に再現し、降雪量を推定することも可能であるが、その実験コストは非常に高く、現実的ではない。一方で、NOAAなどの極軌道を持つ人工衛星は、南極上空の雲を継続的に撮影している。衛星雲画像から南極域に多雪をもたらす特徴的な雲を推定できれば、南極域における長期的な降雪量の推移を間接的に把握でき、南極氷床の涵養量の推定につながる。本研究では、極軌道衛星で観測された衛星雲画像から降雪量の多い雲パターンの抽出を将来的な目標として、半教師あり学習を用いたセグメンテーション技術の有効性の検証と、教師あり学習を用いた画像セグメンテーション手法との比較を行う。教師あり学習とは、機械学習の手法の一つであり、全ての学習データにラベルが付与されている状態で学習を行う手法のことである。これに対し、半教師あり学習とは、学習データの一部のみにラベルを付与し、残りのデータにはラベルを付与しない状態で学習を行う。
本研究では、U-Net[1]とCoSPA（Cost-effective Segmentation with Partial Annotations）[2]を用いて、人工衛星NOAA-18、19号に搭載された光学センサAVHRRで観測された2008年の雲画像をデータセット[3]として使用し、衛星雲画像から多量の降雪をもたらす雲領域の検出を行う。使用する雲画像データは、目的とする雲領域をポリゴンで囲んだアノテーションが付与されている。U-Netは、エンコーダ・デコーダ構造を持つ教師あり学習モデルであり、CoSPAは部分的なアノテーションを行う半教師あり学習モデルである。CoSPAは、元画像から切り出した部分的なパッチ画像を用いてモデルの訓練を行う。パッチ画像はpositive, negative, unlabeledの3クラスから構成される。テスト段階では、入力された画像に対してラスタースキャンを行い、パッチ画像でのセグメンテーションを行ったのちに、各パッチ画像を繋ぎ合わせて、最終的なセグメンテーション結果を出力する。
U-Netの実験では、アノテーションが付与された68枚の雲画像からテストデータとして20枚を抽出し、残りの画像に対してデータ拡張を行い、データセットを構築した。CoSPAの実験では，68枚の雲画像から5枚の画像をテストデータとして抽出し，残りの画像から訓練パッチ画像を作成した．パッチサイズやPositive, Negative patchesの割合の変化がセグメンテーション結果に与える影響を調べるため，8つのデータセットを作成した．拡張実験では，追加のアノテーションデータ20枚を学習データとして使用し，パッチサイズの異なるデータセットを構築した．CoSPAの実験では，モデル訓練時のパラメータを=[0.1, 0.2, 0.3, 0.4], η=[0.1, 0.3, 0.5]として，各データセットごとにパラメータの組み合わせの異なる12モデルを得た.∏とηはそれぞれ、unlabeledデータに含まれるpositiveデータの割合を示すパラメータ、CoSPAにおける半教師あり学習の割合を調整するパラメータのことである。CoSPAの各データセットから訓練したモデルのうち，IoU，Dice係数の平均値が最も高いデータセットはpatch_size=255のデータセットであり，値はそれぞれ，0.34，0.47であった．全体で最もIoU，Dice係数の平均値が高いモデルは，patch_size=127, =0.4, η=0.5のパラメータを使用した時であり，値はそれぞれ，0.52, 0.68であった。また，U-Netのテスト結果から算出されたIoU，Dice係数の平均値はそれぞれ0.682，0.808であった．
CoSPAとU-Netのセグメンテーション結果を比較した場合，CoSPAの方がIoU，Dice係数の平均値は低いものの，セグメンテーション結果は実際の雲領域の形状に近い．CoSPAのIoU、Dice係数の平均値が低い理由として、CoSPAはU-Netに比べて，テストデータ上の南極大陸のような，目的としている雲領域の以外の領域が検出されていることが考えられる。これらの問題の解決策としては，使用するパラメータの値の範囲を絞ることや，検出した雲領域部分とその他の領域に差異が現れるように，雲画像に対してコントラスト処理などの画像処理を行うことが考えられる．本研究の今後の展望として，CoSPAの更なるパラメータ改善と，他の半教師あり学習を用いたセグメンテーション手法との比較を行い，CoSPAの有効性と汎化性能を検証する予定である．
[1] Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015.
[2] Keiichi Nakanishi, Ryoya Katafuchi, Terumasa Tokunaga, “ CoSPA: Cost-effective Image Segmentation from Partial Annotations based on deep PNU learning ”. in preparation
[3] Suzuki, Kazue, et al. "Identifying Snowfall Clouds at Syowa Station, Antarctica via a Convolutional Neural Network." Advances in Artificial Intelligence: Selected Papers from the Annual Conference of Japanese Society of Artificial Intelligence (JSAI 2020) 34. Springer International Publishing, 2021.
本研究では、U-Net[1]とCoSPA（Cost-effective Segmentation with Partial Annotations）[2]を用いて、人工衛星NOAA-18、19号に搭載された光学センサAVHRRで観測された2008年の雲画像をデータセット[3]として使用し、衛星雲画像から多量の降雪をもたらす雲領域の検出を行う。使用する雲画像データは、目的とする雲領域をポリゴンで囲んだアノテーションが付与されている。U-Netは、エンコーダ・デコーダ構造を持つ教師あり学習モデルであり、CoSPAは部分的なアノテーションを行う半教師あり学習モデルである。CoSPAは、元画像から切り出した部分的なパッチ画像を用いてモデルの訓練を行う。パッチ画像はpositive, negative, unlabeledの3クラスから構成される。テスト段階では、入力された画像に対してラスタースキャンを行い、パッチ画像でのセグメンテーションを行ったのちに、各パッチ画像を繋ぎ合わせて、最終的なセグメンテーション結果を出力する。
U-Netの実験では、アノテーションが付与された68枚の雲画像からテストデータとして20枚を抽出し、残りの画像に対してデータ拡張を行い、データセットを構築した。CoSPAの実験では，68枚の雲画像から5枚の画像をテストデータとして抽出し，残りの画像から訓練パッチ画像を作成した．パッチサイズやPositive, Negative patchesの割合の変化がセグメンテーション結果に与える影響を調べるため，8つのデータセットを作成した．拡張実験では，追加のアノテーションデータ20枚を学習データとして使用し，パッチサイズの異なるデータセットを構築した．CoSPAの実験では，モデル訓練時のパラメータを=[0.1, 0.2, 0.3, 0.4], η=[0.1, 0.3, 0.5]として，各データセットごとにパラメータの組み合わせの異なる12モデルを得た.∏とηはそれぞれ、unlabeledデータに含まれるpositiveデータの割合を示すパラメータ、CoSPAにおける半教師あり学習の割合を調整するパラメータのことである。CoSPAの各データセットから訓練したモデルのうち，IoU，Dice係数の平均値が最も高いデータセットはpatch_size=255のデータセットであり，値はそれぞれ，0.34，0.47であった．全体で最もIoU，Dice係数の平均値が高いモデルは，patch_size=127, =0.4, η=0.5のパラメータを使用した時であり，値はそれぞれ，0.52, 0.68であった。また，U-Netのテスト結果から算出されたIoU，Dice係数の平均値はそれぞれ0.682，0.808であった．
CoSPAとU-Netのセグメンテーション結果を比較した場合，CoSPAの方がIoU，Dice係数の平均値は低いものの，セグメンテーション結果は実際の雲領域の形状に近い．CoSPAのIoU、Dice係数の平均値が低い理由として、CoSPAはU-Netに比べて，テストデータ上の南極大陸のような，目的としている雲領域の以外の領域が検出されていることが考えられる。これらの問題の解決策としては，使用するパラメータの値の範囲を絞ることや，検出した雲領域部分とその他の領域に差異が現れるように，雲画像に対してコントラスト処理などの画像処理を行うことが考えられる．本研究の今後の展望として，CoSPAの更なるパラメータ改善と，他の半教師あり学習を用いたセグメンテーション手法との比較を行い，CoSPAの有効性と汎化性能を検証する予定である．
[1] Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015.
[2] Keiichi Nakanishi, Ryoya Katafuchi, Terumasa Tokunaga, “ CoSPA: Cost-effective Image Segmentation from Partial Annotations based on deep PNU learning ”. in preparation
[3] Suzuki, Kazue, et al. "Identifying Snowfall Clouds at Syowa Station, Antarctica via a Convolutional Neural Network." Advances in Artificial Intelligence: Selected Papers from the Annual Conference of Japanese Society of Artificial Intelligence (JSAI 2020) 34. Springer International Publishing, 2021.