[2O6-OS-16a] 世界モデルと知能

[2O6-OS-16a-04] 物体中心表現を用いた世界モデルの獲得

〇中野 聡大¹、鈴木 雅大¹、松尾 豊¹ (1. 東京大学)

キーワード：表現学習、世界モデル、物体中心学習

強化学習タスクにおいてモデルベース強化学習は，画像と行動情報のみから，想像によって世界モデルを獲得し，長期の予測を必要とするタスクにおいて複雑な行動学習が可能な手法である．特にTransformerを遷移モデルに適用した世界モデルは，長期依存性が捉えられるようになり，モデルの学習のサンプル効率性を大幅に改善した．しかし，世界モデルを用いた手法によって構成的なタスクを解くことは難しい．オブジェクトの相互作用を予測したり，オブジェクトを正確に追跡したりすることが主な問題である．物体中心学習は，シーンを構成的にdisentangleし，個々の物体を別々の潜在変数によって表すことができる学習手法であり，シーンの構成的な理解に加えて，未知物体・シーンへの汎化性能が上がることが知られている．本論文では，物体中心学習の優れた汎化性能と構成性と，Transformerベースの世界モデルのサンプル効率性と長期予測能力と組み合わせることを目的として，物体中心な表現を用いたTransformerベースの世界モデルを提案する．提案モデルの効果を検証するために，OCRLのベンチマークで実験を行った．