[3Xin2] ポスターセッション1

[3Xin2-18] Atariゲームに対するTransformerベース強化学習のロバスト性検証

〇髙野 剛志¹、計良 宥志²、川本 一彦² (1.千葉大学大学院融合理工学府、2.千葉大学大学院工学研究院)

キーワード：強化学習、Transformer、Atari、ロバスト性

本研究では，Transformerベースのオフライン強化学習のロバスト性を検証する．オフライン強化学習のための状態データにノイズを加えて訓練を行い，ノイズ下訓練での性能を評価する．評価実験では、４種類のAtariゲーム（Breakout，Pong，Qbert，Seaquest）に関して，5つの評価テスト（クリーン，ガウシアン，ショット，インパルス，スペックル）でのスコアで比較する．実験結果は，通常訓練 (クリーン)に対する全てのノイズ評価テストにおいて，Atariゲームのスコアが低下した．その対策として訓練時にノイズ系によるデータ拡張訓練を導入することで，Atariゲームのスコア向上の傾向が確認された．この結果は，ノイズ評価テストに対する脆弱性とデータ拡張訓練によるロバスト性向上を示している．