11:00 〜 13:00
[MTT46-P01] 農場及び植物のデジタルクローンのためのデータ収集とxRプラットフォーム
キーワード：農業、デジタルクローン、植物
はじめに
我々はこれまで、野外設置用IoTデバイス（フィールドサーバ）、気象データ等の統合、農業アプリに関する研究を約20年にわたって行って来た。近年は、ドローン等で撮影した画像による植物形質データ（植物個体・植物群落の3Dデータ、植被率、開花日等）や環境データのビッグデータ構築及び知識発見の研究に取り組んでいる（JST CREST「フィールドセンシング時系列データを主体とした農業ビッグデータの構築と新知見の発見」、2015-2021）。次世代DNAシークエンサによって植物や共生微生物等のゲノム情報も低コストに収集可能となり、植物体組織等の機械的サンプリングの自動化を進めつつある。AI及びそれを支えるビッグデータの破壊的パワーは指数関数的に増大する計算速度とストレージにあると考えられ、データの不足がむしろ目立ってきた。
多次元データ
画像データは、通常のRGB画像に加えて、マルチスペクトルカメラ、ハイパースペクトルカメラなどによって多次元化が進んでいる。また、ベクトルネットワークアナライザ（VNA）やソフトウェア無線（SDR）の低コスト化が急速に進んでいるため、広帯域の電磁波を用いた植物体や土壌物性に関する多次元データの収集が期待できる。しかし、これらに対するグランドトゥルースデータとなるセンサデータが相対的に不足している。そこで、グランドトゥルースデータを自己増速させながら、多様なデータをデジタルクローンとしてメタバース内で統合・閲覧し、直感的に解析する手法の研究に取り組んでいるところである（JST AIP加速、「ビッグデータ駆動型AI農業創出のためのCPS基盤の研究」、2021-2023）。
不斉一かつ大量のデータファイル
現在までに収集された画像データ（約１億枚）やセンサデータは大量のファイルからなる。単にハードディスクにコピーするだけでも１カ月以上を要し、フォーマットやファイル属性がばらばらである。RDBMSとして保存するのは難しく、HadoopやKVSあるいはフォルダーで分類して保存している。メタデータの付与作業を一部自動化するため、AIアプリ（YOLO v4）によって全ての画像ファイルに映っている物体をバッチ処理で認識させ（１億枚の処理に通常のPCで半年程度要した）、画像の検索に活用している。スマート農業や農学研究においては、総合的かつ直感的な判断を行うための閲覧アプリを備えたプラットフォームが必要であると考えている。
デジタルクローン
植物の構造は環境によって異なるため、農作物を野外及び室内環境で栽培することで異なる生育状態を生成し、多様なデジタルクローンデータの収集を行っている。また、収集された多様なデータを現場にいるかのような“臨場感”を持たせて再現できるOpen-sourceプラットフォームを開発中である。デジタルクローンのコアは、圃場の画像データをリアルに可視化する３次元モデリングである。ドローンや地上ロボットに搭載したカメラやLidarで取得したデータから農地の３次元点群モデル及びメッシュモデルを生成し、さらに植物生長シミュレーションと連動させることで、撮影できない植物の部分を推定し、リアルなデジタルクローンを生成することを目指している。
可視化とデータ操作のためのユーザインターフェイスは、カメラ搭載スマートグラスとアンドロイド端末を用いたxR（VR, AR, MR）で行う。リアルワールドの一般物体検出、ジェスチャー認識機能を用いて特定のシーンにおける現在、過去、未来のデジタルクローンと関連するデータをオーバーレイ表示しながら操作することで、多様なビッグデータを直感的に把握できると考えている。
おわりに
特定の圃場内で収集したビッグデータを衛星等によるリモートセンシングのグランドトゥルースデータとして活用することで、農業におけるリモートセンシング技術の実用性を向上させることができると期待される。データ統合を促進するためにはデータの所有権を明確にする必要があり、NFTの活用を検討しているところである。
我々はこれまで、野外設置用IoTデバイス（フィールドサーバ）、気象データ等の統合、農業アプリに関する研究を約20年にわたって行って来た。近年は、ドローン等で撮影した画像による植物形質データ（植物個体・植物群落の3Dデータ、植被率、開花日等）や環境データのビッグデータ構築及び知識発見の研究に取り組んでいる（JST CREST「フィールドセンシング時系列データを主体とした農業ビッグデータの構築と新知見の発見」、2015-2021）。次世代DNAシークエンサによって植物や共生微生物等のゲノム情報も低コストに収集可能となり、植物体組織等の機械的サンプリングの自動化を進めつつある。AI及びそれを支えるビッグデータの破壊的パワーは指数関数的に増大する計算速度とストレージにあると考えられ、データの不足がむしろ目立ってきた。
多次元データ
画像データは、通常のRGB画像に加えて、マルチスペクトルカメラ、ハイパースペクトルカメラなどによって多次元化が進んでいる。また、ベクトルネットワークアナライザ（VNA）やソフトウェア無線（SDR）の低コスト化が急速に進んでいるため、広帯域の電磁波を用いた植物体や土壌物性に関する多次元データの収集が期待できる。しかし、これらに対するグランドトゥルースデータとなるセンサデータが相対的に不足している。そこで、グランドトゥルースデータを自己増速させながら、多様なデータをデジタルクローンとしてメタバース内で統合・閲覧し、直感的に解析する手法の研究に取り組んでいるところである（JST AIP加速、「ビッグデータ駆動型AI農業創出のためのCPS基盤の研究」、2021-2023）。
不斉一かつ大量のデータファイル
現在までに収集された画像データ（約１億枚）やセンサデータは大量のファイルからなる。単にハードディスクにコピーするだけでも１カ月以上を要し、フォーマットやファイル属性がばらばらである。RDBMSとして保存するのは難しく、HadoopやKVSあるいはフォルダーで分類して保存している。メタデータの付与作業を一部自動化するため、AIアプリ（YOLO v4）によって全ての画像ファイルに映っている物体をバッチ処理で認識させ（１億枚の処理に通常のPCで半年程度要した）、画像の検索に活用している。スマート農業や農学研究においては、総合的かつ直感的な判断を行うための閲覧アプリを備えたプラットフォームが必要であると考えている。
デジタルクローン
植物の構造は環境によって異なるため、農作物を野外及び室内環境で栽培することで異なる生育状態を生成し、多様なデジタルクローンデータの収集を行っている。また、収集された多様なデータを現場にいるかのような“臨場感”を持たせて再現できるOpen-sourceプラットフォームを開発中である。デジタルクローンのコアは、圃場の画像データをリアルに可視化する３次元モデリングである。ドローンや地上ロボットに搭載したカメラやLidarで取得したデータから農地の３次元点群モデル及びメッシュモデルを生成し、さらに植物生長シミュレーションと連動させることで、撮影できない植物の部分を推定し、リアルなデジタルクローンを生成することを目指している。
可視化とデータ操作のためのユーザインターフェイスは、カメラ搭載スマートグラスとアンドロイド端末を用いたxR（VR, AR, MR）で行う。リアルワールドの一般物体検出、ジェスチャー認識機能を用いて特定のシーンにおける現在、過去、未来のデジタルクローンと関連するデータをオーバーレイ表示しながら操作することで、多様なビッグデータを直感的に把握できると考えている。
おわりに
特定の圃場内で収集したビッグデータを衛星等によるリモートセンシングのグランドトゥルースデータとして活用することで、農業におけるリモートセンシング技術の実用性を向上させることができると期待される。データ統合を促進するためにはデータの所有権を明確にする必要があり、NFTの活用を検討しているところである。