JSAI2025

Presentation information

Organized Session

Organized Session » OS-41

[1B5-OS-41c] OS-41

Tue. May 27, 2025 5:40 PM - 7:20 PM Room B (Small hall)

オーガナイザ:鈴木 雅大(東京大学),岩澤 有祐(東京大学),河野 慎(東京大学),熊谷 亘(オムロンサイニックエックス),松嶋 達也(東京大学),Paavo Parmas(東京大学),谷口 尚平(東京大学)

6:20 PM - 6:40 PM

[1B5-OS-41c-03] The performance of Large Language Models on Wisconsin Card Sorting Task and an analysis of the answer

〇Daiki Goto1, Hayato Idei1,2, Yuji Shiozuka1, Tetsuya Ogata1,3 (1. Waseda University, 2. National Center of Neurology and Psychiatry, 3. National Institute of Advanced Industrial Science and Technology)

Keywords:Large Language Model, cognitive flexibility, Wisconsin Card Sorting Task, machine psychology

大規模言語モデル(LLM)の性能を測定するために、心理学実験をLLMに適用する研究が存在する。認知的柔軟性に関する実験であるウィスコンシンカード分類課題(WCST)を用いたものもその一つだが、先行研究ではモデル間の回答メカニズムの差異が十分に検討されているとは言えない。本研究では、LLM群(ChatGPT 4o、ChatGPT o1、ChatGPT o1 mini、ChatGPT 4o mini、Gemini 1.5、 Gemini 2.0)にWCSTを回答させ、回答傾向の比較・メカニズムの検討を実施した。実験の結果、ChatGPT 4o が50%以上、ChatGPT o1、ChatGPT o1 mini、ChatGPT 4o mini、Gemini 1.5、Gemini 2.0 が30%以下の正答率を記録した。一方、WCSTの回答において重要となるルールの推定結果も出力させたところ、ChatGPT 4o mini のみで、出力されたルールと回答との対応が50%以上の確率で一致しなかった。この結果は、WCSTの回答において各モデルが異なる回答メカニズムを有することを示唆する。

Authentication for paper PDF access
A password is required to view paper PDFs. If you are a registered participant, please log on the site from Participant Log In.
You could view the PDF with entering the PDF viewing password bellow.

Password