[1L3-OS-34] AIアライメント

[1L3-OS-34-03] 周期的なゼロ和ゲームにおけるマルチエージェント学習

同期によるナッシュ均衡からの発散現象

〇藤本 悠雅^1,2,3、蟻生 開人¹、阿部 拳之^1,4 (1. サイバーエージェント、2. 東京大学、3. 総合研究大学院大学、4. 電気通信大学)

[[オンライン]]

キーワード：マルチエージェント学習、ゲーム理論における学習、ナッシュ均衡

ゼロ和ゲーム下でのマルチエージェント学習では、複数の個人が競争的に戦略を学習する状況が想定される。そこでは、全個人にとって利得の改善が不可能な戦略の組、すなわちナッシュ均衡を中心に戦略がサイクルを描くふるまいが一般に見られる。ゲームのルールが周期的に変化（periodic gameと呼ばれる）する場合、ナッシュ均衡は一般に時間変化する。このときに複数の個人が学習するとどのようなふるまいが起きるかは未解明な興味深い問題である。面白いことに、我々はそのふるまいがゲームが時間変化する速さと戦略が循環する速さの関係に大きく依存することを発見した。これら2つの速さが同期すると個人の戦略はナッシュ均衡から発散し、その時間平均も収束しない。そうでない場合、個人の戦略は複雑なサイクルを描くが、その時間平均は収束する。力学系解析のために導入した仮定の下で、このふるまいが一般に起こることを理論的に証明した。さらに、同じふるまいが周期的な2人ゼロ和ゲームにおいても見られることを実験によって確認した。本研究は周期的なゲームにおいて発生する同期による発散現象を新しく発見し、そこでの学習に広く応用できる知見を得た。