[2G1-OS-21c] 世界モデルと知能

[2G1-OS-21c-02] 縫合自動化に向けたマルチモーダルNewtonianVAEに基づく高精度位置決め手法

〇寺島 舞¹、ウリグエン エルフリ ペドロ ミゲル¹、ジア ユアンユアン¹、柴田 博諄¹、伊藤 昌樹¹、谷口 忠大¹ (1. 立命館大学)

キーワード：世界モデル、マルチモーダル情報

高精度な制御の実現は，医療現場におけるロボット制御において必要不可欠である．そこで，本研究は世界モデルの一種であるNewtonianVAEを用いて，高精度な制御を行うことを目指す．このためには，複数のモダリティ情報を用いることで，環境を正確に表現した潜在空間を獲得することが求められる．しかし，これまでにNewtonianVAEを用いた複数のモダリティ情報の学習は行われてこなかった．そのため，本研究はNewtonianVAEで複数の観測情報を学習するために，Mixture-of-Products-of-Experts (MoPoE) を用いて複数の観測情報の潜在表現を統合するMulti-modal NewtonianVAE (MNVAE) を検討する．実験では，目標位置までの制御を行う位置決めタスクを行い，MNVAEを用いた3次元制御の有効性を検証した．