[3A1-GS-10] AI応用：大規模言語モデル

[3A1-GS-10-01] LLMにおける事前推論の正答・誤答を利用したChain of Thoughtの動的補正手法

〇山崎 悠大¹、武田 直人¹、西村 康孝¹、池田 和史¹ (1. 株式会社KDDI総合研究所)

キーワード：人工知能、大規模言語モデル

In-Context Learning技術は、Fine-tuningを必要とせずに大規模言語モデルのタスク推論能力を向上する。しかし、共通の指示を行うZero-Shot Promptingは複雑なタスクでの推論精度に限界があり、入出力例を提示するFew-Shot Promptingはその設計にタスクに関する専門知識を必要とする。これに対して、既存のFew-Shotを含むプロンプトを自動で設計する手法には、LLMを用いてプロンプトの自動調整を行うAPEや、タスクを代表するFew-Shotから推論を強化するLEAPがある。ただし、前者は評価データに基づいた繰り返し最適化が必要であり、後者はタスクに有効なFew-Shotが事前に既知であることが前提となる。本研究では、LLMによって限られた量のトレーニングデータセットから推論の原則を抽出し、テストデータセットにおける類似の質問に動的に適用することで、テスト中の推論精度を改善する。提案手法は、ベンチマークMMLU-Pro、AQuA、GSM8Kで有効性を実証し、Zero-Shotアプローチと比較して最大1.0%のAccuracy改善を達成した。