[1Q2-J-2] 機械学習: 強化学習の展開

[1Q2-J-2-01] 強化学習と模倣学習の融合による人間らしいエージェント

〇ドッサ ルスラン¹、連 欣瑜¹、野本 洋一²、松原 崇¹、上原 邦昭¹ (1. 神戸大学、2. 株式会社エクォス・リサーチ)

キーワード：強化学習、模倣学習、人間らしさ

強化学習では，収益の最大化を目指して訓練することで，様々な課題が解決できる．しかしながら，ゲームAIや自動運転などに応用する際，エージェントが強すぎてユーザを不安にさせたり，周囲の状況を考慮せずに動くことがあるため危害を加える恐れがある．一方で，模倣学習では、エキスパートのデータ上でエージェントを訓練することで，そのエキスパートを模倣することができる．ただし，振る舞いが不自然であったり性能がエキスパートの性能に限られる場合がある．本論文では，離散行動空間と連続行動空間に適用可能な強化学習と模倣学習の融合モデルを提案する．この融合モデルは，単なる模倣学習のエージェントと比較して高い性能を示し，強化学習モデルより人間らしい振る舞いを学習することができた．