[3O4-OS-44b] 言語とコミュニケーションの創発

[3O4-OS-44b-03] 変分ベイズ名付けゲームに基づくマルチエージェント強化学習

〇伊藤 宏晟¹、長野 匡隼¹、福岡 慶太¹、中村 友昭¹、谷口 彰²、谷口 忠大^3,2 (1. 電気通信大学　、2. 立命館大学、3. 京都大学)

キーワード：記号創発、マルチエージェント強化学習、変分推論

人間が他者との協調行動を行うには，他者の行動の目的や思考（内部状態）を適切に推定する必要がある．人間は他者の内部状態を直接観測することが困難なため記号（言語）を介したコミュニケーションによって他者の内部状態を推定し行動していると考えられる．このような記号は集団や目的に応じて独自に創発する．この創発過程は「創発コミュニケーション」と呼ばれている．従来の創発コミュニケーションに基づくマルチエージェント強化学習手法では，メトロポリス・ヘイスティングス名付けゲームを用いて，独立なエージェントによる自然な設定を仮定した手法が提案されてきた．しかし，パラメータの推論にサンプリングを用いるため学習コストが高く，さらに2エージェントを前提としていた．本稿では，変分ベイズ名付けゲームとSoft Actor-Criticを組み合わせることにより，計算コストの削減と多エージェントでの協調行動の学習を可能とする．実験では，マルチエージェントがコミュニケーションを介して衝突せずにゴールに到達することを目的とした移動タスクを用いて，提案手法の有効性を示す．