[2Win5] ポスターセッション2

[2Win5-18] 大規模言語モデルによる規範に関する条件推論能力の評価と分析

〇小関 健太郎^1,2、阿部 裕彦¹、安東 里沙子¹、森下 貴允¹、峯島 宏次¹、岡田 光弘¹ (1.慶應義塾大学、2.東京大学)

キーワード：大規模言語モデル、条件推論、規範的推論

大規模言語モデル (LLM) の言語能力の高度化に伴って、その推論能力にさらに関心が集まっている。人間の場合、純粋な形式的・論理的な推論と比べて、特定の具体的な領域における推論、とりわけ規範や社会的な文脈に関わる推論を得意とすることが実証的に観察されている。認知科学の推論研究の知見を踏まえたLLMと人間の推論能力の比較は先行研究でも進められているが、推論能力のこうした領域特化的な特性に着目したLLMの評価・検証はまだ十分ではない。そこで本研究では、認知科学で広く使用されるWason選択課題を用いて、規範的なルールに基づくLLMの条件推論能力を異なる種類のルールや条件の下で評価した。その結果、人間と同様に規範的なルールが関わる推論でLLMの正答率が高くなる傾向が示された。この結果は、LLMの推論能力が領域限定的な性質を持つことを示唆すると同時に、LLMの推論能力について新しい観点を提示する。