4:45 PM - 5:15 PM
[T15-O-6] [Invited] AI-based automatic sand grain classification system
Keywords:Automated microscope, deep learning, microfossils, volcanic ash
__地層中の「砂つぶ」には微化石や火山灰等の層序対比マーカーが含まれ、地質の調査研究に重要な役割を果たしている。しかし、そのデータ取得にいたっては、知識と経験を有した専門家が顕微鏡下で数百〜数千という数の鑑定（分類）作業を行い、それらを拾い出しするのに膨大な時間と労力を要する。また最近では、このような作業に専念できる専門家が減少し、信頼性の高いデータ取得に際して懸念が広がりつつある。一方で、近年はコンピュータの計算能力が飛躍的に向上したことによって人工知能（AI）の学習法のひとつであるディープラーニング（深層学習）が普及し、微小粒子鑑定の作業工程でも省力化と人材減少の懸念を解決する技術として期待されている。しかし、鑑定精度を高めるための大規模な教師データの整備や大量のデータ解析を可能とする設備（自動顕微鏡等）の普及の遅れから、実際に研究現場に展開されているケースはまだ稀である。本講演では、産総研が進めている「砂つぶ」自動鑑定技術の実用化に向けた取り組みについて紹介したい。
__産総研は、AIによる地質試料中の微粒子自動鑑定に関する技術開発を2016年に着手し、2018年には微化石を自動鑑定・摘出する世界初のシステム（miCRAD system）としてプロトタイプを発表した（産総研プレスリリース, 2018/12; Itaki et al., 2020a. PEPS 7:19; Itaki et al., 2020b. Scientific Reports 10:21136; 特許第7132553号）。システムは、コンピュータ制御のデジタルマイクロスコープにより複数の焦点で取得した画像を合成し、画像処理により個々の微粒子画像を自動で切り出す機能を有している。これにより、数千枚の微粒子画像を５分程度で取得することも可能となり、教師データ整備の高速化が実現した。また、運用においてはディープラーニングで構築した予測モデルでの鑑定結果をもとに任意に指定した種類の粒子をマイクロマニピュレータで連続的に拾い出す機能も有しており、これまで手動で行っていた約３倍のスピードで作業を完了することができるようになった。放散虫化石を対象とした自動鑑定の実験では、約44,000粒子の画像を32クラスに区分した教師データを整備した。検証用データを鑑定した結果の各カテゴリーの評価指数平均は、適合率78%、再現率78%、F値77である。各カテゴリーの結果を見ると、学習データの画像数が少ないといずれの数値も低くなるが、300画像を超えると概ね良い結果が得られており、少ない種類については今後の学習データの増幅が精度向上の鍵になると考えられる。
__更に最近では、世界最速のデータ解析を目指してバーチャル・スライドスキャナの運用実験を進めている。バーチャル・スライドスキャナ（以降、スライドスキャナ）は、スライドガラス標本の光学顕微鏡画像をデジタルデータ（バーチャルスライド）として取得・管理する、特に医療分野で広がりつつある技術である。産総研では、スライドスキャナの地質試料への応用技術を検討するため、2022年に浜松ホトニクス社製スライドスキャナNanoZoomer-SQ、2023年には同じくNanoZoomer-S360を導入した。前者（SQ）は、調査船等に持ち込んで運用することを想定し、約20kgで可搬性の高い小型機種として選定したが装填できるスライドは１枚のみで、スキャン速度は15×15 mmの範囲を約150秒（対物レンズ20倍）である。一方、後者の機種（S360）は、一度に最大360枚のスライドが装填可能で、スキャン時間がSQの5分の1という極めて高いスループットを実現している。我々は、これらのスライドスキャナに画像処理・AI自動鑑定機能を実装しており、運用試験の結果では画像取得開始から全粒子の鑑定までの時間は１スライド当たり約30分程度である（対物レンズ20倍、観察面積15x15mm、焦点スライス5層の場合、但し撮像される粒子数により変動）。年間フル稼働すれば、約1万スライドの解析が可能と見積もられるが、その場合はスライドスキャナの解析速度よりもスライドを作成するスピードが時間的な律速になるため、今後の技術開発が望まれるところである。
__これらの最新の機器を使い、これまでに放散虫、珪藻、有孔虫などの微化石をはじめ、火山灰、鉱物粒子、マイクロプラスチック、飛散花粉なども対象として実用化試験を進めている。しかし、これらのシステムは何れも高価なため、技術の普及に障壁となっている。そこで我々は、外部ユーザーが各自のコンピュータを使って誰でも「砂つぶ」自動鑑定ができるように、システムで取得した膨大な画像データやAI分類モデルをデータベースとして公開することが重要と考えている。
__産総研は、AIによる地質試料中の微粒子自動鑑定に関する技術開発を2016年に着手し、2018年には微化石を自動鑑定・摘出する世界初のシステム（miCRAD system）としてプロトタイプを発表した（産総研プレスリリース, 2018/12; Itaki et al., 2020a. PEPS 7:19; Itaki et al., 2020b. Scientific Reports 10:21136; 特許第7132553号）。システムは、コンピュータ制御のデジタルマイクロスコープにより複数の焦点で取得した画像を合成し、画像処理により個々の微粒子画像を自動で切り出す機能を有している。これにより、数千枚の微粒子画像を５分程度で取得することも可能となり、教師データ整備の高速化が実現した。また、運用においてはディープラーニングで構築した予測モデルでの鑑定結果をもとに任意に指定した種類の粒子をマイクロマニピュレータで連続的に拾い出す機能も有しており、これまで手動で行っていた約３倍のスピードで作業を完了することができるようになった。放散虫化石を対象とした自動鑑定の実験では、約44,000粒子の画像を32クラスに区分した教師データを整備した。検証用データを鑑定した結果の各カテゴリーの評価指数平均は、適合率78%、再現率78%、F値77である。各カテゴリーの結果を見ると、学習データの画像数が少ないといずれの数値も低くなるが、300画像を超えると概ね良い結果が得られており、少ない種類については今後の学習データの増幅が精度向上の鍵になると考えられる。
__更に最近では、世界最速のデータ解析を目指してバーチャル・スライドスキャナの運用実験を進めている。バーチャル・スライドスキャナ（以降、スライドスキャナ）は、スライドガラス標本の光学顕微鏡画像をデジタルデータ（バーチャルスライド）として取得・管理する、特に医療分野で広がりつつある技術である。産総研では、スライドスキャナの地質試料への応用技術を検討するため、2022年に浜松ホトニクス社製スライドスキャナNanoZoomer-SQ、2023年には同じくNanoZoomer-S360を導入した。前者（SQ）は、調査船等に持ち込んで運用することを想定し、約20kgで可搬性の高い小型機種として選定したが装填できるスライドは１枚のみで、スキャン速度は15×15 mmの範囲を約150秒（対物レンズ20倍）である。一方、後者の機種（S360）は、一度に最大360枚のスライドが装填可能で、スキャン時間がSQの5分の1という極めて高いスループットを実現している。我々は、これらのスライドスキャナに画像処理・AI自動鑑定機能を実装しており、運用試験の結果では画像取得開始から全粒子の鑑定までの時間は１スライド当たり約30分程度である（対物レンズ20倍、観察面積15x15mm、焦点スライス5層の場合、但し撮像される粒子数により変動）。年間フル稼働すれば、約1万スライドの解析が可能と見積もられるが、その場合はスライドスキャナの解析速度よりもスライドを作成するスピードが時間的な律速になるため、今後の技術開発が望まれるところである。
__これらの最新の機器を使い、これまでに放散虫、珪藻、有孔虫などの微化石をはじめ、火山灰、鉱物粒子、マイクロプラスチック、飛散花粉なども対象として実用化試験を進めている。しかし、これらのシステムは何れも高価なため、技術の普及に障壁となっている。そこで我々は、外部ユーザーが各自のコンピュータを使って誰でも「砂つぶ」自動鑑定ができるように、システムで取得した膨大な画像データやAI分類モデルをデータベースとして公開することが重要と考えている。