[M-AG39] 海洋地球インフォマティクス

[MAG39-02] 深層学習によるカメラ画像からの気象情報の抽出

*杉山 大祐¹、大西 領¹、筆保 弘徳² (1.国立研究開発法人 海洋研究開発機構、2.横浜国立大学)

キーワード：深層学習、IoT、高密度気象観測

数値予報のさらなる高精度化のため、インターネットを通じたリアルタイム取得が可能な各種IoT（Internet of Things）センサー機器網による高密度気象情報の活用が期待されている。一方で、安価なIoTセンサーは地上に設置されるため、IoTセンサー網を通常活用しただけでは上空の気象情報を収集できない。本研究では、人工知能技術を用いた画像認識を応用し、安価なコンシューマーカメラの画像から雲量および日射量の抽出を行うシステムの開発に取り組んだ。本研究の手法を用いることで高価な観測機器を使わなくとも、安価なカメラ付きデバイスをリモートセンシング機器として運用することが可能になる。抽出された気象情報は、数値予測シミュレーションの入力値となるだけでなく、例えば農業分野での活用も期待される。また、中国などを始めとして防犯カメラネットワーク社会が進んでいるが、本研究の手法はそのような社会での高密度気象観測の基盤技術となり得る。
本研究ではまず、画像から雲量を抽出する５層の畳込みニューラルネットワーク（CNN）モデルを構成した。このネットワークを訓練するデータとして、インターネットより自動収集した雲の写っている画像約2,000枚に著者らが雲量をラベル付したデータを用いた。本研究の雲量は、カメラ画像に写り込んでいる空領域のうち雲に覆われている割合を０から１０の１１段階で表す。一方、気象庁は全天に対する雲領域の割合を雲量と定義する。この定義の違いには注意が必要である。訓練データのうち80%に対して機械学習を行い、残り20%を推定させて交差検証を行った。既存のセグメンテーション法の平均自乗誤差12.7に比べて、本CNNは3.0という圧倒的に小さな誤差で雲量を推定できることを明らかにした。
現在、横浜国立大学で観測された日射量と固定カメラ画像の１分毎の長期高頻度観測データを学習に用い、固定カメラ画像から日射量を抽出するモデルの開発を行っている。モデルは、固定カメラに写り込む撮影方向前方数十km範囲での空模様画像から日射量を抽出する。6年間のデータでは１方向で画像は約300万枚に及び、この大規模な訓練データを深層学習を用いて学習する。ここで、直感的には輝度値の高い明るい画像は日射量が高いと思われがちである。しかし、実際にはコンシューマーカメラには明るさ、コントラストの自動調整機能があり、また、薄曇りの日は輝度値が高いなど、相関係数はあまり大きくない。一方で、撮影位置の緯度経度と時刻から、球面幾何学計算により、その時点での理論的最大日射量を計算する（Nakajima et al. 2000）ことができる。この点に着目し、画像＋理論最大日射量を入力とするマルチモーダル深層学習モデルを構築した。画像の空模様から理論最大日射量からの減衰値を推定させることで、さらに日射量抽出の精度を向上できることを明らかにした。