[4E1-GS-2] 機械学習：エージェント

[4E1-GS-2-02] 状態空間の t-SNE 次元削減による強化学習エージェントの戦術の可視化

〇長友 結希¹、三宅 陽一郎¹ (1. 立教大学大学院)

キーワード：強化学習、エージェント、説明可能性

本研究は強化学習 におけるエージェントのとる戦術の可視化による，強化学習の説明可能性の検証を目的とする. 昨今の強化学習の目覚ましい発展により，強化学習エージェントは高度な判断能力を備えたロボットのように振る舞うことができる.ただし強化学習エージェントは一 般的に学習過程の詳細な追跡が困難であり，どのような判断によりその行動を取るのかは不明瞭である.しかし，エージェントが置かれた空間上の状態とその時間軸上の遷移を観察することによって，一連の行動を取るに至るパターンを見出すことができる.だが，時空間上に存在する無数の状態変数がどのようにパターンを形成するのかを分析することは，次元の呪いにとらわれ容易ではない. 本研究では繰り返し観測される一連の行動群を戦術と見なし可視化し分析する．具体的には、エージェントの平面空間上での軌跡を取り，軌跡を t-SNEによる次元削減をすることで分析を行った.これによりエージェントの行動がいくつかのパターンに分類され，同一の戦術を繰り返し利用していることを可視化することに成功した.