[3N3-GS-10] AI応用：制御・最適化

[3N3-GS-10-01] 学習済み深層強化学習モデルの内部挙動を模したファジィ制御器構築への取り組み

〇圓田 彩乃¹、小林 一郎¹ (1. お茶の水女子大学)

キーワード：深層強化学習、ファジィ制御、説明性

深層学習によって獲得されたモデルはブラックボックス化されており、その振る舞いを捉えることができない。本研究では、学習済み深層強化学習モデルの入出力関係から、その振る舞いをファジィ制御器を作成し、そのファジィルールを言語化することで深層強化学習モデルを言葉を通じて理解できるようにする。
ファジィ制御器を構築する方針としては、入出力規則の前件部の空間をファジィ変数で分割し、それに合わせて後件部の値を決定する方法と、後件部の値を基準として、前件部の値をクラスタリングすることにより入力空間を分割したものを変数の値として前件部を構築する方法の二つがある。本研究では、その両方を試みることにより、双方における問題点を検討する。
具体的な実験として、cart poleを題材にし、Deep Q-Networkにより学習されたモデルから言語規則による制御規則を構築し、その制御規則をもってcart poleを制御することを試みる。