[4E2-GS-2] 機械学習：業務応用Ⅱ

[4E2-GS-2-02] 自然強化学習における動的な目的水準の調整

〇海老原 永輝¹、高橋 達二¹、甲野 佑¹ (1. 東京電機大学)

キーワード：強化学習、機械学習、意思決定

複雑な手順獲得を実現する深層強化学習であるが，課題の複雑さに応じて探索空間が膨大になる問題がある. 一方人間が自然な形で未知の強化学習課題に取り組むのであればある水準達成を目的に素早く探索し，達成したら打ち切ると考えられる. 従来の研究ではこの性質から探索手法 Risk-sensitive Satisficing (RS) が提案されている. RS は最適化を目指す従来の手法と比べ効率よく試行錯誤し, 同等以上の性能を収めることを示した. RS はタスク全体の目的水準を各状態における目的水準に変換することができる大局基準変換法 Global Reference Conversion と併用することで状態遷移での学習にも拡張されている (RS+GRC) ．しかし現在の RS+GRC はタスクドメインから最適な全体目標を与える条件において好成績を示す一方，目的水準をエージェントが主体的に調整する手法について深く議論されていない. そこで本研究では強化学習において，目的達成による動的で段階的な目的修正アルゴリズムを提案し，報酬関数のスケールや明確な課題達成水準が不明なタスクへの対応を目指す．