[1Win4] Poster session 1

[1Win4-55] Pre-Manipulation Alignment Prediction with Parallel Deep State-Space and Transformer Models

〇Motonari Kambara¹, Komei Sugiura¹ (1.Keio University)

Keywords:Open-Vocabulary Manipulation, Pre-Manipulation Alignment Prediction, Foundation Models

本研究では，オープンボキャブラリ物体操作タスクにおける軌道のアラインメント予測タスクを扱う．多くの従来手法では，物体操作の実行後にその成否を判定する．一方，それらの手法では物体操作時における潜在的な危険を未然に防ぐことが困難であり，失敗した場合はその後に軌道の再生成を行うため，物体操作全体の効率が低下するという課題がある．この課題を解決するため，一人称視点画像，軌道，及び自然言語指示間のアラインメンを物体操作前に予測する手法を提案する．提案手法では，深層状態空間モデル及びtransformerエンコーダを並列に利用するMulti-Level Trajectory Fusionモジュールを導入し，エンドエフェクタ軌道の多層的な時系列自己相関を抽出する．実験結果から，提案手法は基盤モデルを含む既存手法を上回る予測精度を達成した．