[1B3-OS-41a] 世界モデルと知能

[1B3-OS-41a-03] 6D Multi-View NewtonianVAEによる世界モデルベースの6D姿勢推定と制御

〇寺島 舞¹、前山 功伊¹、ウリグエン エルフリ ペドロ ミゲル²、ジア ユアンユアン²、谷口 忠大^2,1 (1. 立命館大学、2. 京都大学)

キーワード：6D制御、世界モデル、視覚フィードバック制御、マルチビュー画像情報

本研究では，NewtonianVAEを用いて，6D姿勢を表現した潜在空間を学習し，6D制御を行うための手法を提案する．NewtonianVAEは世界モデルの一種であり，観測情報から環境のダイナミクスを潜在空間として学習し，その上で推定した位置をもとに比例制御を行う．NewtonianVAEにより，外部の座標系ではなく，内部で構築した環境のダイナミクスに基づく位置推定が可能である．従来研究では，NewtonianVAEを用いた並進制御が行われてきたが，回転を含む6D制御は行われてこなかった．そこで，本研究では，回転ベクトルを用いて潜在空間を拡張する6D Multi-View NewtonianVAE (6D-MNVAE) を提案した．実験では，6D-MNVAEを用いることで，潜在空間上での6D姿勢を推定し，目標姿勢に向けて6D制御できるか検証した．実験結果より，6D-MNVAEを用いることで，7mm及び0.02rad以下の制御精度で6D制御を実現できることを示した．本手法は，特徴量設計やアノテーションが不要であり，RGB画像情報のみから6D制御を行うことができる．