JSAI2018

Presentation information

Oral presentation

General Session » [General Session] 7. Agent

[2P2] [General Session] 7. Agent

Wed. Jun 6, 2018 1:20 PM - 3:00 PM Room P (4F Emerald Lobby)

座長:落合 友四郎(大妻女子大学)

1:20 PM - 1:40 PM

[2P2-01] Accelerate Deep Q Network by weighting experiences

〇Kazuhiro Murakami1, Koichi Moriyama1, Atsuko Mutoh1, Tohgoroh Matsui2, Nobuhiro Inuzuka1 (1. Nagoya Institute of Technology, 2. Chubu University)

Keywords: Deep Reinforcement Learning, Deep Learning, Reinforcement Learning

Deep Q Network(DQN)は行動価値関数をディープニューラルネットワークによって近似するものであり、人間を上回る行動選択能力を獲得するに至っている。しかし、DQNは学習速度が極めて遅い。DQNはエージェントが観測したデータ郡(経験データ)をメモリ内に保存し、そこから等確率でランダムにサンプリングした経験データを用いて学習を進めていくが、経験データは出現率が異なるため、出現率の高い経験データに対する学習は冗長に行われ、低いものに対する学習はなかなか進まない。そこで、出現率の低い経験データを重要な経験データとして扱い、サンプリングされる確率を操作することで学習効率を高めることができると考えられる。Atari2600のPongで実験した結果、DQNの学習速度を改善することができた。