[2G4-OS-21d] 世界モデルと知能

[2G4-OS-21d-04] 類似グラフ環境における事前知識を活用した方策学習のための世界モデル

〇河村 和紀¹、池之内 颯都³、石川 峻弥²、村上 綾菜⁴、河野 慎¹、松尾 豊¹ (1. 東京大学、2. 電気通信大学、3. 愛媛大学、4. お茶の水女子大学)

キーワード：世界モデル、深層学習、強化学習、グラフニューラルネットワーク、ゲームAI

本論文では、グラフで表される環境において事前知識を有効に活用して最適な方策を求めるための世界モデルに基づく強化学習手法を紹介する。ゲームや交通ネットワーク、知識グラフ、社会ネットワーク、通信ネットワークなど、仮想世界や現実世界においてグラフで表される環境は多い。これらの環境で最適な方策を求めるための手法はいくつかあるが、既存の研究においては、類似した環境下で獲得した事前知識を新たな方策を学習する際に活用できていない。そこで、本研究ではグラフで表される環境に対する事前知識を獲得した状態でより良い方策を学習する手法を提案する。また、グラフで表される迷路ゲームをシミュレーションし、提案手法が事前知識を用いない単純な強化学習モデルよりも性能が良いことを示す。