4:30 PM - 7:00 PM
[R3-P-3] (entry) Development of an automatic analysis system for volcaniclastic materials using Convolutional Neural Network: Automatic particle detection using object recognition algorithms.
Keywords:Machine Learning, Volcano, Convolutional Neural Network, particle, image analysis
【はじめに】
火砕物を構成する粒子は，噴火様式やマグマの性状などの情報を保持すると考えられており，その構成分率解析や形状解析は地質調査において基本的かつ重要な作業である．しかし，解析における粒子種別の肉眼鑑定作業は判断の標準化が難しく労力がかかる為，効率化が求められている．
近年，機械学習による画像処理をベースとした火山灰解析の自動化を目指す研究が行われている（例えば, Shoji et al., 2018）．このような研究の多くは粒子解析装置を用いて，大量の粒子を含む画像から個々の粒子画像を効率的に収集し利用している．しかし，先行研究では粒子画像の色情報が失われている為，後工程の画像処理において肉眼鑑定と同様の判断を紐付ける事が困難であった．また装置の特性上，粒子の上限サイズに制約があり，火山礫サイズ以上の解析は依然，手作業の置換が難しい．
そこで本研究では，光学設計の自由度が高く，粒子の密集や接触，小さな粒子に対しても堅牢で効率的に粒子解析を行える手法を検討した．その結果，畳み込みニューラルネット（CNN)をベースとする，粒子検出モデルと粒子分類モデルを組み合わせた画像解析システムを開発した．本発表では，当該システムの中核となる粒子検出モデルの構築と評価結果について報告する．
【システム概要】
開発した画像解析システムは，スキャナやカメラで取り込んだ大量の粒子を含む画像から，物体検出CNNを用いて個々の粒子の位置を自動で検出し，RGB情報を保持した個別の粒子画像を生成する機能を有する．
ここで，画像認識問題における物体検出は，画像内に含まれる関心対象の物体を自動的に背景から区別して位置を特定する手法であり，現在まで様々なアルゴリズムが提案されている．近年では大量の画像データからパターンやルールを学習し，予測に用いるCNNアルゴリズムの精度向上が著しい．
本研究では， You Only look once (YOLO)と呼ばれる，精度を保ちつつ高速処理が可能なCNNベースの物体検出アルゴリズムに注目し，YOLOシリーズの中でも比較的新しいYOLOv3，YOLOv3-spp，YOLOv4及びYOLOv4-cspのモデルについて検討を行った．
【データセットと学習】
本研究では，粒子検出に特化した画像データセットを作成した．粒子として，霧島山(新燃岳)2011年1月噴火，浅間山1783年噴火の降下火山灰，富士山1707年噴火の降下火砕物及び姶良カルデラ噴火大隅降下軽石の人工粉砕物を用いた．粒径は500 μm～4,000 μm である．画像撮影には家庭用のスキャナを用い，画像一枚当たり数粒～約550粒の粒子を分散するよう配置し撮影した．得られた画像に対しては策定したルールに基づいた手作業による粒子の注釈付けを実施した．
このようにして780枚の注釈済み画像を準備した．このうち524枚を学習用とし，128枚の2セットを検証用及びテスト用とした．また，学習用データについては画像水増し処理を実施し，データセットL，M，S（4,200枚，480枚，48枚）を作成した．
これらのデータセットを基に，Ｃ言語ベースの深層学習フレームワークであるDarknetを利用して粒子検出モデルを構築した．
【結果と考察】
まずデータセットLを用いてモデル別に学習を実行した結果，最新モデルであるYOLOv4-cspが最もスコアが良く，信頼度閾値0.5における再現率が99.58%，平均IoUが92.63%となった．YOLOv4は僅差で次点となり，YOLOv3及びYOLOv3-sppはYOLOv4-cspに対して再現率が約0.４％，平均IoUが約１%低い結果となった．これは，YOLOv4におけるネットワークの改良が精度向上に寄与したと考えられる．
次に，YOLOv4-cspを用いて学習データサイズの違いによる精度を比較した結果，データセットLを用いた場合が最も精度が良く，データセットMは若干の精度悪化が認められた．データセットSは学習途中で過学習による精度悪化が観察された．
以上のことから，YOLOv4-cspを数千枚規模のデータで学習することによりベストモデルが得られることが分かった．このベストモデルの検出精度は，後工程の粒子分類モデルによる処理や形状測定に十分と判断している．今後は得られた個別の粒子画像を用いて，専門家の判断を紐付けた粒子分類モデルを開発し，鑑定作業全体の標準化及び効率化を目指す．
引用文献
Shoji, D., Noguchi, R., Otsuki, S. and Hino, H. （2018） Classification of volcanic ash particles using a convolutional neural network and probability. Scientific Reports.
火砕物を構成する粒子は，噴火様式やマグマの性状などの情報を保持すると考えられており，その構成分率解析や形状解析は地質調査において基本的かつ重要な作業である．しかし，解析における粒子種別の肉眼鑑定作業は判断の標準化が難しく労力がかかる為，効率化が求められている．
近年，機械学習による画像処理をベースとした火山灰解析の自動化を目指す研究が行われている（例えば, Shoji et al., 2018）．このような研究の多くは粒子解析装置を用いて，大量の粒子を含む画像から個々の粒子画像を効率的に収集し利用している．しかし，先行研究では粒子画像の色情報が失われている為，後工程の画像処理において肉眼鑑定と同様の判断を紐付ける事が困難であった．また装置の特性上，粒子の上限サイズに制約があり，火山礫サイズ以上の解析は依然，手作業の置換が難しい．
そこで本研究では，光学設計の自由度が高く，粒子の密集や接触，小さな粒子に対しても堅牢で効率的に粒子解析を行える手法を検討した．その結果，畳み込みニューラルネット（CNN)をベースとする，粒子検出モデルと粒子分類モデルを組み合わせた画像解析システムを開発した．本発表では，当該システムの中核となる粒子検出モデルの構築と評価結果について報告する．
【システム概要】
開発した画像解析システムは，スキャナやカメラで取り込んだ大量の粒子を含む画像から，物体検出CNNを用いて個々の粒子の位置を自動で検出し，RGB情報を保持した個別の粒子画像を生成する機能を有する．
ここで，画像認識問題における物体検出は，画像内に含まれる関心対象の物体を自動的に背景から区別して位置を特定する手法であり，現在まで様々なアルゴリズムが提案されている．近年では大量の画像データからパターンやルールを学習し，予測に用いるCNNアルゴリズムの精度向上が著しい．
本研究では， You Only look once (YOLO)と呼ばれる，精度を保ちつつ高速処理が可能なCNNベースの物体検出アルゴリズムに注目し，YOLOシリーズの中でも比較的新しいYOLOv3，YOLOv3-spp，YOLOv4及びYOLOv4-cspのモデルについて検討を行った．
【データセットと学習】
本研究では，粒子検出に特化した画像データセットを作成した．粒子として，霧島山(新燃岳)2011年1月噴火，浅間山1783年噴火の降下火山灰，富士山1707年噴火の降下火砕物及び姶良カルデラ噴火大隅降下軽石の人工粉砕物を用いた．粒径は500 μm～4,000 μm である．画像撮影には家庭用のスキャナを用い，画像一枚当たり数粒～約550粒の粒子を分散するよう配置し撮影した．得られた画像に対しては策定したルールに基づいた手作業による粒子の注釈付けを実施した．
このようにして780枚の注釈済み画像を準備した．このうち524枚を学習用とし，128枚の2セットを検証用及びテスト用とした．また，学習用データについては画像水増し処理を実施し，データセットL，M，S（4,200枚，480枚，48枚）を作成した．
これらのデータセットを基に，Ｃ言語ベースの深層学習フレームワークであるDarknetを利用して粒子検出モデルを構築した．
【結果と考察】
まずデータセットLを用いてモデル別に学習を実行した結果，最新モデルであるYOLOv4-cspが最もスコアが良く，信頼度閾値0.5における再現率が99.58%，平均IoUが92.63%となった．YOLOv4は僅差で次点となり，YOLOv3及びYOLOv3-sppはYOLOv4-cspに対して再現率が約0.４％，平均IoUが約１%低い結果となった．これは，YOLOv4におけるネットワークの改良が精度向上に寄与したと考えられる．
次に，YOLOv4-cspを用いて学習データサイズの違いによる精度を比較した結果，データセットLを用いた場合が最も精度が良く，データセットMは若干の精度悪化が認められた．データセットSは学習途中で過学習による精度悪化が観察された．
以上のことから，YOLOv4-cspを数千枚規模のデータで学習することによりベストモデルが得られることが分かった．このベストモデルの検出精度は，後工程の粒子分類モデルによる処理や形状測定に十分と判断している．今後は得られた個別の粒子画像を用いて，専門家の判断を紐付けた粒子分類モデルを開発し，鑑定作業全体の標準化及び効率化を目指す．
引用文献
Shoji, D., Noguchi, R., Otsuki, S. and Hino, H. （2018） Classification of volcanic ash particles using a convolutional neural network and probability. Scientific Reports.