[3T1-GS-6] 言語メディア処理

[3T1-GS-6-02] 日本語におけるChain-of-Thoughtプロンプトの検証

〇堀尾 海斗¹、村田 栄樹¹、王 昊¹、井手 竜也¹、河原 大輔¹、山﨑 天²、新里 顕大²、中町 礼文²、李 聖哲²、佐藤 敏紀² (1. 早稲田大学、2. LINE株式会社)

[[オンライン]]

キーワード：自然言語処理

大規模基盤モデルは，少数の例をプロンプトとして入力に与えるFew-Shot学習によって様々なタスクに対応できる．Few-Shot学習の精度をさらに向上させるための手法として，思考の過程をステップに分けて与えるChain-of-Thought (CoT)プロンプトが提案されている．CoTの有効性は，論理的な推論を必要とするタスクに関する英語のデータセットで示されているが，日本語では検証されていない．本研究では日本語の基盤モデルであるHyperCLOVAを用いて，CoTの日本語における有効性を検証する．まず，算数，常識推論，記号推論の3つのタスクにおいて日本語データセットを構築する．次に，4種類のモデルサイズのHyperCLOVAを用いた検証実験を行った結果，CoTプロンプトは通常のプロンプトより精度が高く，またCoTプロンプトの性能はモデルサイズと相関があることが明らかになった．