[3K4-J-2] 機械学習: 実環境との相互作用

[3K4-J-2-01] 深層強化学習エージェントの行動別顕著性マップの生成に関する考察

〇長嶺 一輝¹、遠藤 聡志²、山田 孝治²、當間 愛晃²、赤嶺 有平² (1. 琉球大学理工学研究科情報工学専攻、2. 琉球大学工学部工学科知能情報コース)

キーワード：深層強化学習、可視化

近年，深層強化学習エージェントは驚くべき発展を見せ，素晴らしい成果を挙げている．一方で，エージェントの行動のみを視認して，根拠となった画像特徴を推測するのは困難であるという問題がある．これに対し，エージェントが持つニューラルネットの入出力を用いて判断根拠を可視化することで，行動を分析しようとする試みが行われている．可視化手法の一つに顕著性マップの生成がある．しかし，行動毎に顕著性マップを得る手法はあまり研究されていない．本稿では，深層強化学習エージェントの行動を視覚的に分析する際に，エージェントの持つニューラルネットから各行動ごとに顕著性マップを得る手法を提案する．実験の結果，環境から得られる状態観測内のオブジェクトが，エージェントの各行動に及ぼす影響を可視化する顕著性マップを得られた．