[2C5-GS-2] 機械学習：強化学習（２）

[2C5-GS-2-02] スケール可能かつシンプルな深層強化学習検証タスクの開発

〇池田 龍司¹、南 朱音¹、甲野 佑²、高橋 達二² (1. 東京電機大学大学院、2. 東京電機大学理工学部)

キーワード：深層強化学習、機械学習、強化学習

2015年に DeepMind社によって開発されたコンピュータ囲碁のプログラムAlphaGoは，人間のプロ囲碁棋士相手に勝利した．このAlphaGoに用いられた深層強化学習は，近年注目されており，デジタルゲームの学習や機械制御といった多くの場面で活用が期待されている．深層強化学習は従来の強化学習より広大な状態行動空間を扱うことが可能であるが，それに伴って計算リソースと学習時間の増加が問題となっている．深層強化学習の基礎研究の場においてもこの問題は顕著であり，容易に研究を行うことができないのが現状である．そこで本研究ではこの問題を解決するため，新たにシンプルな深層強化学習タスクを提案する．新たに提案するシンプルタスクは，複数層の超平面に対してピラミット状に状態線が設定されており，ループがない階層間に一方通行の空間で，定数ステップでゴールに到達する．そのため短い時間で学習することが可能であり，分析も行いやすくなっている．シンプルタスクでは基礎研究を行いやすくするために，スケーラブルな難易度調整を可能としている．また拡張性を高めることで，従来の様々な研究項目にも適用できるようにした．