[2Win5] Poster session 2

[2Win5-18] Evaluation and Analysis of Conditional Reasoning About Norms in Large Language Models

〇Kentaro Ozeki^1,2, Hirohiko Abe¹, Risako Ando¹, Takanobu Morishita¹, Koji Mineshima¹, Mitsuhiro Okada¹ (1.Keio University, 2.University of Tokyo)

Keywords:Large Language Model, Conditional Reasoning, Normative Reasoning

大規模言語モデル (LLM) の言語能力の高度化に伴って、その推論能力にさらに関心が集まっている。人間の場合、純粋な形式的・論理的な推論と比べて、特定の具体的な領域における推論、とりわけ規範や社会的な文脈に関わる推論を得意とすることが実証的に観察されている。認知科学の推論研究の知見を踏まえたLLMと人間の推論能力の比較は先行研究でも進められているが、推論能力のこうした領域特化的な特性に着目したLLMの評価・検証はまだ十分ではない。そこで本研究では、認知科学で広く使用されるWason選択課題を用いて、規範的なルールに基づくLLMの条件推論能力を異なる種類のルールや条件の下で評価した。その結果、人間と同様に規範的なルールが関わる推論でLLMの正答率が高くなる傾向が示された。この結果は、LLMの推論能力が領域限定的な性質を持つことを示唆すると同時に、LLMの推論能力について新しい観点を提示する。