[M-TT46] Introducing metaverse to agriculture. Are we ready?

[MTT46-05] Point-Agri：デジタルツイン温室の構築と点群解析を用いた生育診断

*佐々木 佑介¹、石井 冬馬¹、濱田 健夫¹、越塚 登¹ (1.東京大学大学院)

キーワード：園芸農業、デジタルツイン、点群解析

近年，少子高齢化に伴う農業従事者人口の減少及び高齢化からICT を活用したスマート農業が推進されてきた．スマート農業技術を駆使して収穫量を安定させ売上を向上させるためには，作物の状態を診断する生育診断の効率化および高精度化が必要である．他方，デジタル化・ネットワーク化の進んだ昨今，現実空間のデジタルコピーを指すデジタルツインと呼ばれる概念が注目されてきている．デジタルツインとは現実空間とそのデジタルコピーを配置した仮想空間を用意することで，シミュレーション等から双方にフィードバックを行う手法である．そこで本研究では，このデジタルツイン技術を活用し，温室のデジタルツインを構築し生育診断を行う手法を提案する．
フェノタイピングの分野においては，実際に作物の3次元点群情報を取得し解析を行う研究が盛んに行われてきた．これらの研究ではRGB画像から3次元の点群を構築する，フォトグラメトリと呼ばれる手法によって生育診断に必要となるパラメータを高精度に抽出できている．フォトグラメトリを用いた点群構築手法は屋外環境に適していることや高精度な点群構築ができる一方，点群構築処理に長時間を要することに加え，実際の温室のような葉という同一物体が続く環境下において誤判定が多くなる点から，温室栽培の現場での運用は困難といえる．そこで本研究では対象物との距離を測定することのできるデプスセンサによる点群構築手法を用いて，温室全体の3次元点群化を行った．またデプスセンサによって得られたRGB画像の誤判定が多くなる課題に対しては，色相による点群抽出および点群の形状マッチングを行う手法により誤判定を減らしながら，温室全体にRGBD画像同士の位置合わせを行なった．さらに，構築した3次元点群を解析することで，生育診断に必要とされる葉面積と着花数の2つのパラメータを抽出した．葉面積はまずx-mean方法を用いて個葉に分類し，それぞれの葉に対して法線方向を決定して面積を求めることで葉面積に類する指数とした．法線方向の決定については射影して面積が最大になる方向として決定した．また着花数は色相情報による抽出および点群密度から花の位置を特定し2メートルごとにカウントして平均し着花数に類する指数とした．これら実装したシステムを用いて，高知県の農場で実験を行った．
点群の位置合わせについては24メートルの畝とデジタルツインの畝の長さの平均値とはおおよそ一致していた．
また構築したデジタルツインから取得した個葉の面積と実測値についてもおおよそ一致していた．
さらに着花数について，デジタルツインから取得した花の数と実測値についてもおおよそ一致していた．
以上の結果から，本研究で構築したデジタルツインから求めた葉面積および着火数は空間的・時系列的な観点から生育診断に十分な精度を有しているものと結論づけた．