[2A1-GS-2] 機械学習：進化計算・マルチエージェント・XAI他

[2A1-GS-2-04] 深層強化学習に基づく連続状態空間におけるサッカーの複数選手の行動評価

中原 啓¹、筒井 和詩¹、武田 一哉¹、〇藤井 慶輔^1,2,3 (1. 名古屋大学、2. 理化学研究所、3. JSTさきがけ)

キーワード：スポーツ、強化学習、マルチエージェント

計測技術の発展により試合中の様々なデータが取得可能になったことで、高度なデータ分析を用いたチームの戦術立案や選手評価、コーチングが行われている。スポーツの中でもサッカーなどのゴール型競技の分析は、試合状況が時間的・空間的に連続であることに加え、複数のエージェントが個々に試合状況を認識・意思決定を行うため、難易度が高いとされている。代表的なエージェントモデリングの１つである深層強化学習を用いた先行研究では、チームを１つのエージェントとみなして、離散的な各イベントでのボールを保持する選手やチームを評価する研究が多く、時空間的に連続な状態空間に基づき、ボールから遠い選手も含めた複数選手の行動評価を行うことは困難であった。本研究では、サッカーの強化学習プラットフォームであるGoogle Research Footballを模倣した連続状態空間において離散行動空間を持つ深層強化学習モデルに基づき、複数選手の行動価値関数を実データから推定することにより、実際の試合の行動評価を行った。実験ではJリーグのあるチームの１シーズンのデータを用いて、計算された選手評価指標の妥当性を検証した。