[2M5-OS-19c] 世界モデルと知能(3/4)

[2M5-OS-19c-02] マルチモーダルRSSMを用いた実ロボットによる卵殻切削タスク学習

〇虎松 勇輝¹、ウリグエン エルフリ ペドロ ミゲル¹、前山 功伊¹、谷口 忠大¹ (1. 立命館大学)

キーワード：世界モデル、模倣学習、マルチモーダル学習、マニピュレーション

本研究では，Multimodal Recurrent State Space Model (MRSSM)による卵殻切削タスクの学習を行い，構成される状態表現空間の分析とMRSSMを用いた実ロボットの制御を行った．生物実験の手法の一つにラットの頭蓋骨にクラニアルウィンドウを作成する手法があり，その模擬タスクとしてエッグタスクが存在する．このエッグタスクは画像情報のみではドリルの接触状態と非接触状態の判別が難しい．そこで画像情報だけでなく音声情報を用いることで，接触状態と非接触状態を切り分けた状態空間を構成することができると考えられる．実験では実ロボットを用いてエキスパートデータを収集し，潜在状態の遷移を確認した．また，エキスパートデータで学習したMultimodal RSSMを用いて実ロボットを制御し，卵殻切削タスクを行なった．実験の結果，画像と音声を用いて学習したMultimodal RSSMにおいてドリルと卵殻の接触状態と貫通状態で異なる状態への遷移が見られた．また，Multimodal RSSMを用いて実ロボットの制御が可能であることを確認した．