[1O5-GS-7] 画像音声メディア処理

[1O5-GS-7-04] 実運用に向けた一人称視点動画に対する機械学習手法の詳細分析と改善の試み

〇竹内 太法¹、関 喜史¹、佐藤 可直¹ (1. Fairy Devices株式会社)

キーワード：一人称動画、コンピュータビジョン

本研究では一人称視点動画に対する機械学習技術の実運用を目指して、既存手法の結果の詳細な分析と、改善に取り組む。
ウェアラブルデバイスへの関心の高まりに伴い、一人称視点(first-person view)の動画に対する機械学習の取り組みが始まっているが、三人称視点の画像処理・動画像処理と比較するとその知見は多いとは言えない。
そこで我々は一人称視点動画に対する汎用機械学習モデルとして公開されているEgo-Exoに対して、各タスクの詳細なエラー分析を行い、2つの知見を得た。
第一にfine-tuning時のサンプルサイズが多い行動クラスほど認識精度がよい傾向にあること。
第二にオブジェクトや動作が明確なクラスは認識精度が高く、対照的に、動作が広範囲にわたっていたりオブジェクトの種類が複数あるようなクラスは認識精度が低いこと。
これらの知見は特定タスクに対するデータセットを構築する上では重要である。