[4Rin1] インタラクティブセッション２

[4Rin1-03] 強化学習における報酬なしスキル獲得の階層化

〇皿海 孝典¹、狩野 泉実¹、國吉 康夫¹ (1. 東京大学)

キーワード：強化学習、階層的スキル、事前学習

近年、強化学習における事前学習についての研究が多くなされている。目的タスクが未知の状態での事前学習においては、外部報酬なしでエージェントにスキルを獲得させる試みがある。しかし、既存の研究では獲得するスキル数が増えるに従って学習が安定しないという制限が存在する。本稿ではスキルの多様性を保ったまま多数のスキルを安定的に獲得するために、スキル獲得の階層化を提案する。結果として、同数のスキル獲得において、既存研究と比較して短時間で学習を行うことに成功した。また、複数指標において検証した結果、階層化スキルの多様性は損なわれていないことがわかった。加えて、階層化スキルにおいて上の階層のスキルの特徴は下の階層へ受け継がれることを確認した。