[3Xin2] ポスターセッション1

[3Xin2-46] 関節トルク信号への摂動に対するオフライン強化学習手法の頑健性評価

〇綾部 信吾¹、計良 宥志¹、川本 一彦¹ (1.千葉大学大学院)

キーワード：オフライン強化学習、ロボット制御、頑健性評価、敵対的摂動

近年、環境と相互作用せずにデータセットのみから学習するオフライン強化学習が注目されている。これまでの深層強化学習と同様にロボット制御への適用も考えられるが、その場合、ロボットの関節アクチュエータの故障等の実世界で生じうる問題に対して頑健であることが望ましい。本研究では、上記のような故障に頑健なオフライン強化学習手法の構築を目的としており、その初期検討として、既存のオフライン強化学習手法の頑健性について評価を行った。OpenAI Gymの歩行ロボットを使用し、強化学習モデルが出力する関節トルク信号に摂動を加えることで故障を模擬した。頑健性はエピソード報酬を用いて評価した。摂動はランダム摂動に加え、最悪のケースを想定した敵対的摂動を差分進化計算により生成した。実験の結果、既存のオフライン強化学習手法は、出力への摂動に対し脆弱であることが分かり、故障等に頑健なオフライン強化学習手法の必要性が示された。