[1Q2-J-2] 機械学習: 強化学習の展開

[1Q2-J-2-03] 深層強化学習による物流プロセスの全体最適化

〇小池 和弘¹ (1. アスクル株式会社)

キーワード：深層強化学習、サプライチェーン、最適化

ブルウィップ効果は、サプライチェーンにおける問題の1つとして知られている。需要予測と意思決定の結果として、需要が増幅しながら下流から上流へと伝播する現象である。この現象は1960年代に発明されたビールゲームによってうまく再現される。一方、ネット通販では、サイバー空間での情報の流れとフィジカル空間でのオブジェクトの流れの間にギャップがある。このギャップは、ブルウィップ効果を促進する要因となる可能性があるが、オリジナルのビールゲームで再現するのは困難である。そこで、ルールと環境を拡張した新しいゲーム「Netshop Game」を準備した。このゲームでは、深層強化学習を用いることで、ネット通販のサプライチェーンで起こり得る局所的な最適化を再現することができ、メタ視点を導入することによってグローバルな最適解を発見するのに有効であることを確認した。