[2G4-OS-21d] 世界モデルと知能

[2G4-OS-21d-03] 多視点カメラ画像のゲート付き対照学習に基づく実ロボット行動生成

〇五十嵐 渓¹、村田 真悟¹ (1. 慶應義塾大学)

キーワード：ロボット学習、深層学習、対照学習、ゲート機構、模倣学習

外部環境の情報をセンサによって取得し、状況に応じた行動生成が可能な知能ロボットの実現が期待されている。多くの場合、カメラ画像の利用は必須であるが、単視点だけではなく多視点で取得した画像を利用することで、ロボット自身や外乱による遮蔽への対処が可能になると考えられる。しかし、単純に多視点から取得された画像の特徴量を足し合わせたり、連結したりするだけでは、遮蔽を受けた視点の特徴量が別視点の特徴量に含まれる有益な情報を阻害する可能性がある。そこで本研究は、状況に応じた多視点の画像特徴量の重みづけに着目し、ロボットの行動生成のためのゲート機構を利用した深層学習モデルを提案する。具体的には、2視点のカメラから得られた画像の潜在表現を対照学習によって近づけ、ゲート機構を用いて両潜在表現の加重平均を算出した。また、視界を遮蔽するデータ拡張を導入することで、モデルが過去の情報を積極的に引き継ぎ、遮蔽に対応できるようにした。さらに、行動予測学習に関する補助コストを導入した。評価実験として、2視点カメラ画像の適切な統合が必要なタスクを設定し、実ロボット実験を行った結果、提案手法の各要素の有用性が確認された。