[2G5-OS-21e] 世界モデルと知能

[2G5-OS-21e-02] 世界モデルにおけるモデルサイズに対するスケーリング則

〇佐藤 誠人^1,6、海野 良介^2,6、根岸 優大^2,6、田畑 浩大^2,6、渡部 泰樹^3,6、蒲原 惇乃輔^4,6、久米 大雅^5,6、岡田 領^2,6、岩澤 有祐²、松尾 豊² (1. 奈良先端科学技術大学院大学、2. 東京大学、3. 早稲田大学、4. 東北大学、5. 慶応義塾大学、6. 株式会社松尾研究所)

キーワード：世界モデル、大規模言語モデル、スケーリング則

深層学習の発展に伴い、コンピュータビジョンや自然言語処理の分野において、大幅な性能向上が見られる。これらの発展において、モデルサイズ、データセットサイズ、学習に使用する計算量に対して、モデルの性能が指数関数的に変化することを示すスケーリング則が大きな役割を果たしている。これらのスケーリング則は、画像分類、画像生成、自然言語処理タスクなど、様々なタスクで成立することが報告されている。しかし、スケーリング則が長期的な予測を伴うタスクに有効であることはまだ確認されていない。本研究では、モデルサイズの観点から世界モデルにスケーリング則が成立することを調査した。CARLAデータセットを用いた行動条件づけ動画予測タスクにおいて2つの世界モデルのモデルサイズを大規模化する実験を行い、オートエンコーダの大規模化を含む場合に損失関数が指数関数的に減少し、スケーリング則が成り立つことを検証した。