[4E1-GS-2] 機械学習：エージェント

[4E1-GS-2-04] 多目的強化学習のパレート最適方策獲得のおける目的別重み計算

〇内司 裕貴¹、荒井 幸代² (1. 千葉大学院　融合理工学府　電気電子工学コース、2. 千葉大学院　融合理工学府　都市環境システムコース)

キーワード：強化学習、意思決定

実世界の多くの問題は複数の競合する目的をもつ多目的最適化問題として記述できる。近年は，多段の意思決定へと拡張した多目的逐次意思決定問題の解法が注目されている。これに対して，強化学習を多目的最適化問題へと拡張した多目的強化学習が提案されている。多目的強化学習では，目的間のトレードオフを考慮した解が複数存在するため，できるだけ多くの解を獲得する必要がある。また意思決定の場面では解の中から状況に応じた望ましい解を選ぶため，意思決定の指標となる重みを求める必要がある。多目的強化学習の既存手法は，初期状態から終端状態までの各段階において，重みを一律と仮定している。その結果，獲得できないパレート最適方策が存在する。そこで，意思決定の各段階において重みが変化することを考慮して方策を抽出することで既存手法では得られなかったパレート最適方策の獲得する手法が提案されている。しかしパレート方策を抽出する際に重みを網羅的に探索しているため計算量が課題となっている。そこでパレート最適方策の重みを効率的に探索し計算量の削減を試みた。計算機実験により従来手法と比較し計算量を削減しつつ重みが推定できるとこを検証する。