[3Xin2] ポスターセッション1

[3Xin2-80] ヒューリスティック方策を組み合わせたDeep Q-Networkによる最適執行戦略

〇小川 竜欣¹、中川 慧²、池田 心¹ (1.北陸先端科学技術大学院大学、2.野村アセットマネジメント株式会社)

キーワード：強化学習、深層学習

最適執行問題は，トレーダーがある一定の期間内に特定量の株式を購入または売却するコストを最小化する執行戦略を発見する問題である．
最適執行戦略の構築に，行動価値関数Qを深層学習で近似するDeep Q Network(DQN)等の深層強化学習を使用する手法が提案されている．
しかし，深層強化学習には，学習の不安定さ，必要なデータ数の多さといった課題がある．
そこで，本研究では従来のDQN手法を拡張し，学習時にファイナンス分野における知見から得られる方策を組み込むことを提案する．
提案手法によって高い性能の方策をより安定的に学習できることが期待できる．
提案手法の有効性を確認するため，ノイズの傾向が異なる環境のもとでの数値実験を行った．
その結果，提案手法は従来の手法に比べ，全ての環境で費用を平均的に小さくすることができた．