[4G2-GS-7] エージェント: エージェントと機械学習

[4G2-GS-7-01] 深層 Q 学習によるエレベータ制御最適化のための Q-Network 構造の検討

〇吉田 航¹、森 直樹¹ (1. 大阪府立大学)

キーワード：エレベータ、深層Q学習、強化学習

近年,広汎な分野に対する深層強化学習の適用例が報告されている.深層強化学習課題の1つに,エレベータにおけるかごの制御問題がある.複数のエレベータが設置されたビルを想定した場合, どのかごがどの階の客を迎えに行くかで客の待ち時間は大きく変化する.そのため,深層強化学習を導入したエレベータの設置を考える際,客の待ち時間を小さくなるようにかごの挙動を最適化近似することが求められる.そこで本研究では,深層強化学習の1つであるDeep Q-Network(DQN)を用いて実装された先行研究内のエレベータ制御器を改変して,乗客輸送効率の向上を研究目的に設定した.方法としては,DQN内の Q-Networkの構造について,新しく特徴抽出部の構造を変更したものと識別部にDueling Networkを導入したものの2つについて実験した.実験の結果,特徴抽出部を変更したQ-Networkを用いた場合には,先行研究の制御器と比べ輸送能力の向上が見られた.また,識別器にDueling Networkを用いたものについては,設定された乗客発生モデルの違いによって輸送能力に影響が見られるという結果が得られた.