[4I1-GS-7b] 画像音声メディア処理：マルチモーダル処理

[4I1-GS-7b-03] 視線データと動画注釈システムを用いた農作業技術継承マニュアル作成手法の提案

〇平田 結愛¹、笠松 雅史¹、村上 幸一¹、脇坂 颯¹ (1. 香川高等専門学校)

キーワード：アイカメラ、画像注釈、暗黙知

近年，日本の農業では，労働人口の減少と高齢化により，少子高齢化の傾向にあり，この傾向は今後も悪化することが懸念されている．持続可能な農業を実現させるためには，熟練営農者の技術を新規就農者に継承していく必要がある．しかし，新規就農者が熟練営農者から直接指導を受ける機会は減少している．そこで，農作業マニュアルの整備がより一層重要となっている．しかし，従来の農作業マニュアルは，文章や画像のみで構成されるものが多く，経験の少ない新規就農者にとって直感的に理解することが難しいという問題がある．これを受けて，本研究では，熟練営農者が見ているものをアイカメラとインスタンスセグメンテーションアルゴリズムの1つであるMask R-CNNを用いて、熟練者と新規就農者の視線の動きの違いをもとにWEBベースの農作業継承マニュアルを作成することを提案する。本研究ではイチゴ農作業のWEBマニュアルを作成した。作業工程として育苗、刈り取り、冠水、定植、収穫、パック詰めの視線をとり、熟練者と新規就農者の視線の違いからヒアリングを行い、マニュアルを作成した。