[2C4-GS-2] 機械学習：強化学習（１）

[2C4-GS-2-03] 希求水準の達成度合いを考慮する自然強化学習

〇越川 駿平¹、有村 柊一²、若林 洋尭²、甲野 佑¹、高橋 達二¹ (1. 東京電機大学理工学部、2. 東京電機大学大学院)

キーワード：機械学習、強化学習、満足化

人間の柔軟で複雑な知能の模倣は未だ遠い課題であるが，強化学習と呼ばれる行動手順の自律的な獲得手法である深層強化学習は，一部の二人対戦ゲームやビデオゲームで人間水準の成績を示すようになった．しかしながら深層学習がデータを大量獲得した前提での学習である都合上，動的にデータを収集しながら行う強化学習とはそもそも相性が悪い．しかし実用上は一定の水準を達成する行動手順を獲得したい場合も多い．その水準は生理的には日々のエネルギーコスト，工学的には人力手法の水準が当てはまり，社会的には事細かな具体的手順ではなく簡易なルールとしての水準からの学習を強いられる．このように自然な，希求水準の達成を目的とした自然強化学習と提唱されており，少なくとも水準達成までの探索が素早くなることで深層学習との相性も良くなると考えられている．現状の自然強化学習アルゴリズムでは課題全体の希求水準の達成度合いを状態の重要度により各状態に反映しているが，従来では達成度合いの推定が正確にできない問題が存在した．本研究では推定方策と挙動方策のずれに着目した分析を通して高度なパラメータ設計に依存しない自然強化学習手法について考察する．