[2B5-GS-2] 機械学習：強化学習

[2B5-GS-2-03] 物体中心表現を用いたTransformerベースの世界モデル

〇西本 遥裕¹、松原 崇¹ (1. 大阪大学)

キーワード：世界モデル、強化学習、物体中心表現

世界モデルは，エージェントの観測したダイナミクスを模倣して複雑な行動の学習を促進する. しかし，ゲームをプレイするときなどの場面では，同一画面内に性質の異なるダイナミクスが複数存在するため，効果的な世界モデルの学習が難しい状況がある．同様の問題は，動画予測などのタスクでも確認されており，近年では物体中心表現を用いた解決が試みられている．本研究では，世界モデルと物体中心表現を用いた動画予測の手法を組み合わせ，物体中心表現を用いたTransformerベースの世界モデルを提案する。この提案手法は，物体の特徴を利用して時空間の関係をモデリングし，行動に対する正確な未来の状態を予測する．また，物体中心表現に基づく複数の潜在変数，報酬，および行動がTransformerに入力されるため，異なる時間ステップでそのすべてのモダリティに柔軟に対応することが期待される．本稿では，AtariゲームのBoxingを用いて，提案手法の有用性を検証した．その結果，提案手法は既存手法のスコアを上回り，世界モデルに物体中心表現を用いることが有用であることを示すことができた．