[3A1-GS-10] AI応用：大規模言語モデル

[3A1-GS-10-03] LLMマルチエージェントシステムにおけるエージェント評価手法に関する研究

〇田中 孝明¹、大坪 舜²、林 祐輝²、伊藤 孝太郎²、畠山 卓也¹、吉田 隆史¹、石川 信行¹ (1. 株式会社博報堂テクノロジーズ、2. 株式会社NTTデータ数理システム)

キーワード：AIエージェント、大規模自然言語モデル、マルチエージェント、LLMエージェント、ヒューマンAIインタラクション

大規模言語モデル（LLM）マルチエージェントシステムは, 複数のAIエージェントが協力や競争を通じて複雑なタスクを達成するシステムである. これらのシステムは, 質疑応答の正答率向上, 現実世界の相互作用のシミュレーション, ソフトウェア開発の効率化など, 多岐にわたる応用が研究されている．しかし，マルチエージェントシステムにおける各エージェントの有効性を評価するための手法については，十分に研究が進んでいない. 本研究では, 我々が開発したNomatica（ノーマティカ）というLLMマルチエージェントシステムを用いて, フリーディスカッションやアイディエーション, レビューセッションなどのタスク実行時に各エージェントの有効性を評価する手法を検討し, 評価を行った. 評価においては, 特にRAG（Retrieval Augmented Generation）技術を利用したRAGエージェントの有用性に着目した. 評価の結果, RAGエージェント及び特定用途のエージェントの活用がシステム全体の性能向上に寄与することが示され, エージェント評価手法の開発における示唆を得た.