[3Win5] ポスターセッション3

[3Win5-97] テキスト情報を活用した組立作業のTemporal Action Segmentationにおけるアノテーションコスト削減検討

〇岸 祐輔¹、森田 亮¹、香西 諒也¹ (1.コニカミノルタ株式会社)

キーワード：時系列行動セグメンテーション、CLIP、深層学習

製造業における組立製造ラインでは，生産性の把握と向上を目的として，作業時間の測定や作業手順の正確性のチェックなどの作業解析が求められている．従来，これらの計測は目視による手作業で行われており，多くの労力を要するだけでなく，計測や分析の自動化が困難な状況であった．近年，作業動画を入力とし，これを基本動作単位に分節化するTemporal Action Segmentation の研究が盛んに行われ，多くの深層学習モデルが提案されている．しかし，これらのモデルの学習には，フレーム単位での動作ラベル付与という高コストなアノテーションが必要であり，実用化に向けた課題がある．本研究では，動作ラベルの言語情報を入力可能なCasegというCLIPベースのモデルを使用し，組立工程における動作分節化の性能検討を行った．組立基準書から抽出した動作ラベルをプロンプトとして与え推論を行った結果，一定の精度を得ることができた．アノテーションコストを削減しつつ，動作分節化の実用化に寄与する可能性が示唆されたため報告する．