[1S5-GS-2] 機械学習：

[1S5-GS-2-02] イベント駆動型強化学習による安定な制御の実現

列車自動運転による検証

〇中条 隼人¹、荒井 幸代¹ (1. 千葉大学)

キーワード：イベント駆動型強化学習、セミマルコフ決定過程、鉄道、自動運転

列車の省エネルギー運転は、鉄道システムにおける重要な課題の一つといわれている．省エネルギー運転に関する先行研究では動的計画法が用いられてきたが、環境のモデルが既知であることや、状態数の増加によって計算量が急激に増加する「次元の呪い」による制約がある．これに対して、深層強化学習（Deep Reinforcement Learning; DRL）を用いたアプローチは、関数近似によって次元の呪いを回避し、任意の運転条件から最適な運転制御則を求めることができる方法として期待されている．しかし、強化学習の課題とされる「報酬のスパース性」や「制御の不安定性」が実用化へのボトルネックとなっている．具体的には、DRLにおける単位時間ステップ毎の行動選択が、報酬に至るまでの状態遷移系列を長大にし、頻繁な行動選択による行動の揺らぎが制御を不安定にしているという課題がある．
本論文では、これらの二つの問題を解決する方法としてイベント駆動型強化学習を提案し、計算機実験によってその性能を評価した．