[1B3-OS-41a] 世界モデルと知能

[1B3-OS-41a-04] 世界モデルを利用したプレイデータ拡張による実ロボット制御

野村 優太¹、〇村田 真悟¹ (1. 慶應義塾大学)

キーワード：世界モデル、プレイデータ、ロボット学習

多様な環境下でさまざまなタスクを行うことができる，汎用ロボットの実現が期待されている．模倣学習や強化学習は有効な手法だが，汎化性能とデータ効率にトレードオフがあり，高い汎化性能を得るためには大量のデータが必要となる．そこで本研究では，プレイデータと呼ばれる，人間が好奇心を満たすようにロボットを操作し収集するデータを導入する．プレイデータは環境の様々な状態を含むため汎化性能の高いエキスパートデータとなる一方で，プレイデータ外のタスクの実行には追加のデータ収集が必要になる．この問題に対し，世界モデルを用いてアプローチする．具体的には，世界モデル内におけるプレイデータの拡張とその学習に基づく行動生成フレームワークを提案する．プレイデータをもとに行動生成学習を行うことで，多様な目標状態への行動生成を可能にする．また，世界モデル内でロボットが自律的にデータを収集することで，実世界で動作させる時間的・人的コストを抑える．シミュレーション環境・実ロボット環境における実験の結果，提案手法によって世界モデル内で新規のデータ収集が可能なこと，汎化性能・データ効率が向上することが示された．