[1G5-OS-21b] 世界モデルと知能

[1G5-OS-21b-04] 世界モデルにおける未知の環境への転移

〇藤崎 勇哉¹、南田 桂吾²、土方 祥平³、澤野 千賀⁴、熊谷 亘⁵、松尾 豊⁵ (1. 北陸先端科学技術大学院大学、2. 近畿大学、3. 名古屋工業大学、4. 放送大学、5. 東京大学大学院工学系研究科)

キーワード：世界モデル

モデルベース強化学習の一つである世界モデルは，エージェントの行動から生じる環境の遷移を予測するモデルである. 世界モデルを用いることでサンプル効率の向上や未知のタスクへの適応を向上させることが期待されている． しかし，世界モデルは他の強化学習モデルに比べて規模が大きく，モデルの学習時間が長くなることや，モデルの実行が計算機の制約を受けることが懸念される．そのため，モデルの学習の効率化とモデルの規模の縮小を両立させるために転移学習とモデル圧縮を適用することで世界モデルの実用性を高めることを考えた. 本調査の目的は上記の2つの手法の適用による世界モデルの性能への影響を検証にある．調査の結果2つの示唆が得られた．（１）提案手法（モデル圧縮 + 転移学習手法）を適用した場合の方が，モデル圧縮を適用せず目的のタスク単体で学習した場合よりも性能が高くなる可能性があること．（2）提案手法はハイパーパラメタの変更に頑健な可能性があること，である．