[2D5-OS-18b] 世界モデルと知能 (2)

[2D5-OS-18b-05] 人間の受容を考慮した自律エージェントへの説明性付与

〇境 辰也¹、宮澤 和貴¹、青木 達哉^1,2、堀井 隆斗¹、長井 隆行^1,2 (1. 大阪大学、2. 電気通信大学)

キーワード：説明可能性、世界モデル、自律エージェント

現在機械学習モデルの説明性に関する研究が活発であるが，実世界でのロボットの自律活動を前提とした議論はほとんど行われていない．また判断根拠提示の先にある人間の納得感向上や受容促進に関しても，十分な研究はなされていない．よって本研究では，自律ロボットが行動決定に用いる強化学習モデルに対し，人間に受容される説明を生成することを目的とする．認知科学の知見によると，人間に受容される説明の生成には「事象の理解に十分な必要最低限の情報を提示すること」が重要である．この要件を満たすため，本研究では世界の予測モデルを利用した意思決定プロセス内の重要要素の同定，および重要要素を用いた説明生成のフレームワークを提案する．提案手法では強化学習によるポリシー獲得と同時にRNNを用いて予測モデルを学習する．そして，予測モデル上での反事実計算により，出現頻度の高い状態を重要要素として同定する．その重要要素のうち，質問者が知らない情報を提示することで説明を生成する．実験環境には，報酬獲得に複数状態の経由が必須であるグリッド環境を用いた．実験の結果，人間の受容要件を満たす説明が生成されることを確認した．