2024年度 人工知能学会全国大会(第38回)

講演情報

ポスターセッション

ポスターセッション » ポスターセッション

[4Xin2] ポスターセッション2

2024年5月31日(金) 12:00 〜 13:40 X会場 (イベントホール1)

[4Xin2-32] 大規模言語モデルのメタ認知

GPT-4はメタ認知を持つか?

〇吉澤 駿1、恩蔵 絢子2、野澤 真一2、髙野 委未2、茂木 健一郎2,3 (1.東海大学、2.東京大学大学院、3.ソニーコンピュータサイエンス研究所)

キーワード:大規模言語モデル、メタ認知、AIアラインメント

大規模言語モデル(LLM)の1つであるChat Generative Pre-Trained Transformer (ChatGPT)は、その認知能力について分析・評価されている。例えば、ChatGPTは誤信念課題においてロバストな性能を示し、心の理論を持っていることが示唆された。しかし、GPT-4がメタ認知能力を有しているかどうか、つまり、GPT-4が自分自身のパフォーマンスをどれだけ正確に認識できるかを評価し、明らかにすることは重要であろう。ここでは、LLMの一般的なメタ認知能力について、ChatGPTと人間の確信度判断を分析することで調べた。人間は正解したときよりも不正解したときの方が確信度が低い傾向があった。しかし、GPT-4は正解できなかった問題でも高い確信度を示した。これらの結果は、GPT-4が特定のメタ認知能力を欠いていることを示唆している。

講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。

パスワード