[4Xin2] ポスターセッション2

[4Xin2-32] 大規模言語モデルのメタ認知

GPT-4はメタ認知を持つか？

〇吉澤 駿¹、恩蔵 絢子²、野澤 真一²、髙野 委未²、茂木 健一郎^2,3 (1.東海大学、2.東京大学大学院、3.ソニーコンピュータサイエンス研究所)

キーワード：大規模言語モデル、メタ認知、AIアラインメント

大規模言語モデル(LLM)の1つであるChat Generative Pre-Trained Transformer (ChatGPT)は、その認知能力について分析・評価されている。例えば、ChatGPTは誤信念課題においてロバストな性能を示し、心の理論を持っていることが示唆された。しかし、GPT-4がメタ認知能力を有しているかどうか、つまり、GPT-4が自分自身のパフォーマンスをどれだけ正確に認識できるかを評価し、明らかにすることは重要であろう。ここでは、LLMの一般的なメタ認知能力について、ChatGPTと人間の確信度判断を分析することで調べた。人間は正解したときよりも不正解したときの方が確信度が低い傾向があった。しかし、GPT-4は正解できなかった問題でも高い確信度を示した。これらの結果は、GPT-4が特定のメタ認知能力を欠いていることを示唆している。