[3E5-GS-2] 機械学習：一般

[3E5-GS-2-04] ローグライクゲームの強化学習における好奇心を用いた学習手法の比較検討

〇荒井 新太郎¹、三宅 陽一郎¹ (1. 立教大学大学院 人工知能研究科)

キーワード：強化学習、ローグライクゲーム、ゲームAI

近年、ビデオゲームなどの複雑な環境において深層強化学習を用いることでエージェントの行動最適化を狙う試みが多く行われている。しかし、強化学習における問題として報酬が疎らにしか環境から与えられない場合に学習が難しくなる傾向がある。この問題に対しては外部から与えられる報酬の他に、観測した状態の新規性に基づいた内部報酬を用いることで解決する手法（好奇心ベース）が提案されている。 本研究では報酬が疎らな他に、環境がランダムで生成されるという特徴を持つローグライクゲームを対象に、Q学習、Deep Q-Networks(DQN)によって学習を行う。また、それぞれに好奇心ベース手法を適用し学習することで、それぞれの手法がどのようにダンジョン探索を効率的に行えるかを比較する。その後、学習済みの各手法のモデルを用いてランダム生成したダンジョンの探索を行い、対しどれだけ性能を発揮できるか比較し考察を行った。