[1Win4] ポスターセッション1

[1Win4-51] 多階層アラインメント視覚表現に基づくリアルタイム物体操作タスク成功判定

〇後神 美結¹、神原 元就¹、齋藤 大地¹、小槻 誠太郎¹、杉浦 孔明¹ (1.慶應義塾大学)

キーワード：タスク成功判定、オープンボキャブラリ物体操作、多階層アラインメント視覚表現

ロボットマニピュレータによるオープンボキャブラリ物体操作タスクにおいて，タスク成功判定は操作の質と効率，安全性を向上させることが可能なため，重要である．特に，物体操作実行中にon-the-flyで成否判定ができれば効率的なタスク実行につながるため、利便性が高い．本研究では，オープンボキャブラリ物体操作の前後の画像と指示文をもとに成功判定を行うContrastive λ-Repformerをリアルタイム物体操作タスク成功判定に拡張したフレームワークを提案する．このフレームワークでは，初期状態での画像と任意の時刻での画像間の多階層アラインメント視覚表現の対比を行い，画像間の微細な変化に注目することで物体操作に成功したタイミングを検知する．実験結果より，このフレームワークによって，実際にリアルタイム成否判定を解決可能であることを確認した．