[2T5-OS-5b] ヒューマン・イン・ザ・ループAI

[2T5-OS-5b-01] 大規模言語モデルを用いた因果推論におけるメタ認知プロンプトの効果検証

〇大谷 龍生¹、櫻井 祐子¹、小山 聡² (1. 国立大学法人名古屋工業大学、2. 公立大学法人名古屋市立大学)

キーワード：大規模言語モデル、因果推論、メタ認知プロンプト

大規模言語モデル（LLM）を用いた因果推論は，近年，重要な研究テーマの一つとなっている．また、LLMの回答精度向上のため，プロンプトエンジニアリングに関する研究開発が盛んに行われている．特に，人間の内省的思考を応用したメタ認知プロンプトは，様々なタスクにおいて回答精度を大きく改善することが知られている．本研究では，因果関係の必要／十分原因を判定する問題を対象に，メタ認知プロンプトの有効性の検証を行った．その結果，メタ認知プロンプトが必ずしも有効ではないことが示された．一方，メタ認知プロンプトを用いても全く解けなかった判定問題に対して，正解付きの類題を複数回例示することで，正解を導くことができることが分かった．