[2P2] [General Session] 7. Agent

[2P2-01] Accelerate Deep Q Network by weighting experiences

〇Kazuhiro Murakami¹, Koichi Moriyama¹, Atsuko Mutoh¹, Tohgoroh Matsui², Nobuhiro Inuzuka¹ (1. Nagoya Institute of Technology, 2. Chubu University)

Keywords:Deep Reinforcement Learning, Deep Learning, Reinforcement Learning

Deep Q Network(DQN)は行動価値関数をディープニューラルネットワークによって近似するものであり、人間を上回る行動選択能力を獲得するに至っている。しかし、DQNは学習速度が極めて遅い。DQNはエージェントが観測したデータ郡（経験データ）をメモリ内に保存し、そこから等確率でランダムにサンプリングした経験データを用いて学習を進めていくが、経験データは出現率が異なるため、出現率の高い経験データに対する学習は冗長に行われ、低いものに対する学習はなかなか進まない。そこで、出現率の低い経験データを重要な経験データとして扱い、サンプリングされる確率を操作することで学習効率を高めることができると考えられる。Atari2600のPongで実験した結果、DQNの学習速度を改善することができた。