[1Q2-J-2] Machine learning: reinforcement learning and its advances

[1Q2-J-2-04] Construction of Inverse Reinforcement Dynamics Learning Framework based on Maximum Entropy Principle

〇Yuki Nakaguchi¹, Riki Eto¹, Itaru Nishioka¹ (1. NEC Data Science Research Laboratories)

Keywords:Inverse reinforcement learning, Reinforcement learning, Maximum entropy principle

近年、強化学習の研究が著しく進展し、複雑な意思決定や制御の問題において幅広く高い性能を示すようになった。しかし、適切な報酬関数を指定するのが困難でしばしば意図しない振る舞いが生じてしまい、緻密な報酬関数設計が要求されるのが問題となっている。逆強化学習はエキスパートのデモンストレーションから報酬関数を構成するが、殆どの定式化ではダイナミクスへ幾らでもアクセスできることを仮定している一方で、現実にはしばしばダイナミクスへのアクセスは限られており、不確実な知識しか持ち合わせていない。そこで本研究では、ダイナミクスに対する知識の不確実さに対処するため、逆強化学習にて最も主流の最大エントロピー法をダイナミクスの推測を含む形へ拡張することで、報酬関数とダイナミクスを同時に構成するフレームワークを提案する。この定式化によって、真のダイナミクスへアクセスせずに推定中のダイナミクスを用いて報酬を推定できる。また、逆強化学習および最大エントロピー法について簡潔にレビューを行う。