[3Xin4] ポスターセッション1

[3Xin4-79] カリキュラム学習を用いた迷路の経路形状生成制御手法

〇星野 貴彦¹、三宅 陽一郎¹ (1.立教大学)

キーワード：強化学習、PCG、PCGRL、カリキュラム学習

本研究では、迷路の最短経路の形状をPCGRL（Procedural Contents Generation via Reinforcement Learning、強化学習によるコンテンツ自動生成）に加えてカリキュラム学習を適用する生成手法を提案し、その結果の報告を行う。PCGRLとは、レベルデザインの問題をゲームと捉えて、コンテンツ生成器を強化学習で学習させる手法である。今回は、迷路の最短経路の形状が渦巻型になることを目標として制御を行う。これは一定の面積と条件の中で最も長い経路は渦巻型を取ると予想されるからである。提案する手法の詳細としては、強化学習における報酬関数を、最短経路が渦巻型に近いほど報酬を多く与えるように設定し、タスクの達成度合いに応じて迷路のゴール位置を渦巻状に移動させ、PCGRLのフレームワークを用いて学習し、迷路を渦巻型に制御することで、カリキュラム学習が有効であるかを検証した。結果としては、安定して報酬値を増加させることができたが、タスク更新時の適切な難易度設定や条件といった課題がある。