[2A4-E-2] Machine learning: method extensions

[2A4-E-2-02] アテンションとマスキング技術で拡張した強化学習による電力エネルギーシステム最適化研究

〇Malla Dinesh³、Tomoyuki Hioki²、Takahashi Kei ²、Sogabe Masaru ³、Sakamoto Katsuyoshi ^1,2、Yamaguchi Koichi ^1,2、Sogabe Tomah ^1,2,3 (1. 電気通信大学 i-PERC、2. 電気通信大学、3. 株式会社グリッド)

キーワード：Attention-masking、 deep Q network、combinatory optimization

ゲームおよびロボット制御において前例のない成功を示した最近のディープニューラルネットワークベースの強化学習（ＤＲＬ）方法は、組み合わせ最適化問題を解決するために徐々に注目を集めている。しかしながら、スマートグリッドシステムにおける効果的な運用は、電力需要 - 供給関係、電池電力の下限と上限、市場価格などのような様々な制約を受けなければならない。これらの制約のため、DRLアルゴリズムは最適化結果を得るのに効率的ではない。 。本稿では、この問題を解決するために、アテンションマスキング拡張したディープQネットワーク（AME-DQN）強化学習アルゴリズムを開発した。さまざまな気象条件と需要プロファイルを考慮して、訓練されたAME-DQNモデルの予測能力に特に焦点を当てました。これらの結果はさらにMILPの結果と比較され、MILPの出力結果がほとんどの場合条件を満たさなかったがAME-DQNがすべての制約を満たす最適化された行動を予測できることを実証した。