[3G6-GS-6] 言語メディア処理：

[3G6-GS-6-01] 最大トークン数を考慮した大規模言語モデルの文法制約つき文章生成手法

〇加藤 善夫¹、田良島 周平¹ (1. NTTコミュニケーションズ株式会社)

キーワード：大規模言語モデル、構造化生成、文脈自由文法

大規模言語モデル(LLM)による文章生成では、JSONやプログラミング言語など特定の構造に沿った出力の有用性が注目されている。そこで、指定した文法に必ず従うようにLLMの出力トークンをコントロールする手法がいくつか提案されているが、実用上で必須となる出力トークン数の制限を考慮していないため、生成が途中で打ち切られ文法的に正しくない結果になることがあった。我々は、LL(1)文法の解析器を活用することで、最大出力トークン数を考慮した文法的に正しい文章生成を実現し、最大トークン数に厳しい制約を課したJSON生成ベンチマークで既存手法と比べて正解率を約20ポイント向上させ、さらにほぼ全てのケースでJSON文法に追従させられることを確かめた。