[2J6-GS-2] 機械学習: 強化学習と発展 (2)

[2J6-GS-2-04] A3CにおけるAttention機構を用いた視覚的説明

〇板谷 英典¹、平川 翼¹、山下 隆義¹、藤吉 弘亘¹、杉浦 孔明² (1. 中部大学、2. 国立研究開発法人 情報通信研究機構)

キーワード：強化学習、視覚的説明

深層強化学習の代表的な手法であるAsynchronous Advantage Actor-Critic (A3C)は，ロボット制御やゲームタスクにおいて高精度な結果を獲得している．しかし，推論時におけるモデル内部の演算が複雑であるため，モデルの推論結果に対する判断根拠が不明確である．そのため，モデルがどのように判断し推論したか容易に説明できる仕組みが必要である．本研究では，Policy branchの特徴マップに対しAttention mapを用いてマスク処理を行うMask Attention A3Cを提案する．Atari2600を用いた実験により，スコアの比較及び獲得したAttention mapを用いた視覚的説明を行う．また，注視領域を反転させた場合においてもスコアを確認することで，獲得したAttention mapの有効性を示す．