[2J6-GS-2] 機械学習: 強化学習と発展 (2)

[2J6-GS-2-05] インタラクションを考慮したマルチブランチネットワークによる深層強化学習

〇五藤 強志¹、平川 翼¹、山下 隆義¹、藤吉 弘亘¹ (1. 中部大学)

キーワード：強化学習、マルチエージェント、インタラクション

複数のエージェントが存在する場合，自己利益だけを考えてエージェント同士が衝突したり，他エージェントに影響を与えるようなケースが発生する．このようなデッドロックが起きるような環境では，複数エージェントを同時に学習するマルチエージェント強化学習により，他エージェントを考慮しながら行動を行う必要がある．
本研究では，マルチエージェント強化学習に深層学習を導入する際に，単一ネットワークをエージェントごとの複数のブランチに分けて同時学習を行う手法を提案する．これにより，エージェント同士のインタラクションを考慮しつつ，学習を行うことが可能となる．
評価実験では，自動運転環境においてデッドロックが発生するような環境を想定し，各エージェントを個別に学習する従来手法と提案手法を比較する．また，提案手法によってエージェントがどのような行動を獲得したかを可視化し，インタラクションの効果を示す．