[2P2] エージェント-エージェント設計・シミュレーション(2)

[2P2-01] 経験データ重み付けによるDeep Q Networkの高速化

〇村上 知優¹、森山 甲一¹、武藤 敦子¹、松井 藤五郎²、犬塚 信博¹ (1. 名古屋工業大学、2. 中部大学)

キーワード：深層強化学習、深層学習、強化学習

Deep Q Network(DQN)は行動価値関数をディープニューラルネットワークによって近似するものであり、人間を上回る行動選択能力を獲得するに至っている。しかし、DQNは学習速度が極めて遅い。DQNはエージェントが観測したデータ郡（経験データ）をメモリ内に保存し、そこから等確率でランダムにサンプリングした経験データを用いて学習を進めていくが、経験データは出現率が異なるため、出現率の高い経験データに対する学習は冗長に行われ、低いものに対する学習はなかなか進まない。そこで、出現率の低い経験データを重要な経験データとして扱い、サンプリングされる確率を操作することで学習効率を高めることができると考えられる。Atari2600のPongで実験した結果、DQNの学習速度を改善することができた。