[3Yin2-29] 歩行ロボット学習における敵対的な体型探索
キーワード：強化学習、敵対的攻撃、ロボット制御
歩行ロボット開発において，温度変化による膨張や収縮，表面の摩耗，あるいは異物の付着等による微小な体型変化に対する堅牢な設計は重要な課題である．本研究では，強化学習で訓練した歩行ロボットに対して，報酬を大きく減少させる微小な体型変化を敵対的攻撃によって探索する手法を提案する．一般に敵対的攻撃は深層学習の損失を減少させる入力摂動を求めるのに対して，提案手法は強化学習の報酬を減少させる体型摂動を求めている．体型変化に関する勾配の計算は，誤差逆伝播法のような効率的な最適化アルゴリズムが利用できないため，差分進化を用いている．実験では，OpenAI GymのHalCheetah-v2，Ant-v2，Humanoid-v2をあらかじめ強化学習で訓練しておき，それらの各パーツの長さと太さの微小変化を提案手法によって探索した．この探索により発見した体型変化の多くは，左右の対称性を崩すものや重心位置をずらすものであり，この傾向は全く形状の異なる３種の歩行ロボットに共通して見られた．このような体型変化の傾向の発見は，歩行ロボットの形状設計や素材を検討する際に役立つと期待される．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。