[4Xin1] ポスターセッション2

[4Xin1-60] 四脚アクチュエータに対する敵対的攻撃とランダムノイズに頑健な深層強化学習

〇大友 拓門¹、計良 宥志¹、川本 一彦¹ (1.千葉大学)

キーワード：強化学習、ロボット制御、敵対的攻撃

深層強化学習を用いた四脚歩行ロボット制御では，そのアクチュエータへのトルク信号に対する敵対的攻撃が可能である．すなわち，トルク信号に，意図的に設計した摂動を加えるとロボットを転倒させることができる．本研究では，このような敵対的攻撃に対する防御として，画像認識分野で知られている敵対的訓練が有効かどうか実証的に検証する．さらに，一様ランダムノイズに対する頑健性も評価する．検証実験では，物理シミュレータMuJoCo環境で四脚ロボットAntとUnitree A1を用いて，報酬の観点から敵対的攻撃への頑健性を評価する．敵対的なトルク信号は，差分進化法を用いて求める．実験結果は，ある一定の比率で敵対的なトルク信号を加える敵対的訓練が，敵対的攻撃だけでなくランダムノイズに対しても頑健になることを明らかにした．