[3R5-OS-31] デジタルゲームの人工知能

[3R5-OS-31-03] HTN-RL: Hierarchical Task Networkと強化学習を併用したデザイン可能なゲームキャラクターAIの検討

〇伊藤 黎¹、三宅 陽一郎¹ (1. 東京大学)

キーワード：ゲームAI、キャラクターAI、強化学習、階層化型タスクネットワーク

ゲーム業界において、AIは、NPCの敵や味方としての制御に広く利用されている。Behavior TreeやHierarchical Task Networkなどの決定論的手法は、開発者に対してキャラクターの行動を正確に制御する手段を提供するが、大量の手作業による設計が必要となり、開発コストが高くなる。一方で、非決定論的手法である強化学習は自律的な行動生成を可能にするものの、開発者が直接制御できる範囲は限られている。本研究では、Hierarchical Task Networkと深層強化学習（HTN-RL）を組み合わせることで、設計のしやすさと適応性のバランスを取る可能性を探る。UnityベースのMOBAゲームに本手法を適用し、国際的な参加者による観察を通じて、その実現可能性と有効性を検証した。結果として、HTN-RLは手作業による調整の負担を軽減しつつ、設計の柔軟性を維持できる可能性が示唆された。さらに、異なるHierarchical Task Network間で学習された行動ノードの転移可能性を調査し、さまざまなゲームコンテキストでの再利用の可能性を明らかにした。