[3Win5] ポスターセッション3

[3Win5-06] 深層強化学習における満足化の比較

〇菊池 優那¹、高橋 達二²、甲野 佑² (1.東京電機大学大学院、2.東京電機大学理工学部)

キーワード：強化学習、 認知科学、機械学習

人間には物事を無闇に最適化するのではなく、ある目標水準の達成を目指す性質がある。これは最適化と明確に区別され、ある程度取得した情報の中で十分に良い選択肢を選ぶという満足化と言う概念に当たる。この満足化を主観 regret の最小化として行動の学習、強化学習に転用した Risk-sensitive Satisficing (RS) というアルゴリズムが存在する。RS は離散行動だが、深層強化学習まで適用可能で、目標水準が明確な時に最適化アルゴリズムと比較して優れた成績を有していた。しかし深層強化学習という枠組みの上で満足化に類する枠組みの単純比較はされていない。満足化そのものは非常にシンプルな概念であるため、その実装法は他にも無数に考えられる。本研究では深層強化学習のトイタスク上で、ごく単純な満足化を利用した探索と比較し RS が成績的に優れていることを示した。翻って RS の持つシンプルながら複数の効能を持つ主観 regret という概念の妥当性を補強する。