[3K4-J-2] Machine learning: real world interaction

[3K4-J-2-01] Consideration on Generation of Saliency Maps in Each Action of Deep Reinforcement Learning Agent

〇Kazuki Nagamine¹, Satoshi Endo², Koji Yamada², Naruaki Toma², Yuhei Akamine² (1. Information Engineering Course, Graduate School of Engineering and Science, University of the Ryukyus, 2. Faculty of Engineering, School of Engineering Computer Science and Intelligent Systems, University of the Ryukyus)

Keywords:Deep Reinforcement Learning, Visualization

近年，深層強化学習エージェントは驚くべき発展を見せ，素晴らしい成果を挙げている．一方で，エージェントの行動のみを視認して，根拠となった画像特徴を推測するのは困難であるという問題がある．これに対し，エージェントが持つニューラルネットの入出力を用いて判断根拠を可視化することで，行動を分析しようとする試みが行われている．可視化手法の一つに顕著性マップの生成がある．しかし，行動毎に顕著性マップを得る手法はあまり研究されていない．本稿では，深層強化学習エージェントの行動を視覚的に分析する際に，エージェントの持つニューラルネットから各行動ごとに顕著性マップを得る手法を提案する．実験の結果，環境から得られる状態観測内のオブジェクトが，エージェントの各行動に及ぼす影響を可視化する顕著性マップを得られた．