[3Q4-GS-8] ロボットと実世界：

[3Q4-GS-8-03] 価値関数の残差を利用した2段階の強化学習による自動運転フォークリフト制御

〇長村 徹¹、大石 航志¹、加藤 光樹¹、伊藤 誠悟¹ (1. （株）豊田中央研究所)

キーワード：強化学習、ビジュアルナビゲーション、工場の自動化、車輪付きロボット

本研究では、自動運転フォークリフトのための残差価値関数を用いた2段階の強化学習手法を提案する。フォークリフトはその高い汎用性と広範な用途から、多様な環境での自動化が求められている。しかし多様な環境をそれぞれ一から学習するのはコストが高い。そこで本研究では学習効率を向上するため、タスクをフォークリフトの制御に共通の要素と環境に固有の要素に分割する。共通の要素は第1段階目で学習し、固有の要素は残差強化学習を用いて第2段階目で学習する。タスクの分割により、共通の要素の学習結果は再利用可能になり学習効率が向上する。評価実験では、提案手法が従来手法より固有の要素を効率的に学習できることを確認した。