[3O4-OS-44b] OS-44

[3O4-OS-44b-04] A Find-Goal Game Where Speaker Can Control Signal Range Strategically

〇Raito Nakajima¹, Ryo Ueda¹, Yusuke Miyao¹ (1. The University of Tokyo)

Keywords:reinforcement learning, multi-agent, deep learning, emergent communcation

本研究では，マルチエージェント強化学習(multi-agent reinforcement learning, MARL)において，エージェント同士のコミュニケーションの中でやりとりされるシグナルの伝達範囲を，エージェントが自ら選択できるようなゲームを設計し，エージェントが伝達範囲の制御を適切に行えるように学習できるかどうかを検証する．本研究で提案するゲームには，話し手，聞き手，敵と呼ばれるエージェントが存在する．人間のコミュニケーションでは，声の音量を調整することで効果的にメッセージを伝達することができる．このような音量の概念をMARLの環境に取り入れるため，話し手がシグナルの伝達範囲を調節できるようにモデル化した．話し手は聞き手にワールド上のゴールの位置を伝える必要がある一方，敵が先にゴールに到着するのを防がなければならないようにゲームが設計されている．実験の結果，このゲームで訓練された話し手は音量を制御できているが，味方である聞き手にのみメッセージが聞こえるようにするといった戦略ではなく，味方が有利なほど音量を大きくするというアドホックな戦略に従っていることが示唆された．