[2G5-GS-6] 言語メディア処理：

[2G5-GS-6-04] テキスト生成のためのより良いLLM評価器： プロンプト出力のシーケンスと最適化の影響

〇朱 冠肇¹、陳 宜珮¹、中山 英樹¹ (1. 東京大学)

キーワード：大規模言語モデル、プロンプト、会話評価

大規模言語モデル(LLM)は、テキスト生成タスクにおいて、生成されたテキストにスコアを割り当てる評価者として普及しつつある。しかし、LLMの評価者は一貫したスコアを与えることができない。本研究では、プロンプトのデザインがLLMの採点に与える影響を、特に主観的な対話品質評価タスクに焦点を当てて調査する。我々は、プロンプト内の出力順序に関する指示が、特定のLLMの得点分布に大きく影響することを発見した。この発見は、主観的な評価を必要とするタスクにおいて、微妙なプロンプトのデザイン要素が与える影響を浮き彫りにしている。私たちの分析は、LLMを採点者として使用する際の効果的なプロンプト・デザインの理解を深めることに貢献する。