[2T5-OS-5b] ヒューマン・イン・ザ・ループAI

[2T5-OS-5b-02] 大規模言語モデルにおける認知バイアスの軽減

〇角田 康明¹、竹内 孝¹、鹿島 久嗣¹ (1. 京都大学)

キーワード：大規模言語モデル、認知バイアス

近年、大規模言語モデルが発展しており、様々なタスクで高い性能を示している。この性能の高さは、人間が書いた文書を大量に学習することで実現されている。しかし、人間は様々な認知バイアスの影響を受けて合理性を欠いた判断をすることがあるため、大規模言語モデルも同様に認知バイアスの影響を受けて、非合理的な判断をすることがある。主な例として、多肢選択問題において選択肢の順序を入れ替えることで、大規模言語モデルが順序バイアスの影響を受け、性能が変化することがある。本研究では、このような認知バイアスを軽減し、合理的な判断を促すことを目的とする。提案手法では、クラウドソーシングで用いられる認知バイアスの軽減手法を、大規模言語モデルに入力するプロンプトに適用する。さらに、この手法の有効性を検証するため、GPT-3.5とGPT-4に対し、6つのバイアスについて、軽減前後のそれぞれの出力における認知バイアスの影響を評価する実験を行った。その結果、提案手法により認知バイアスの影響を減少させられることが示された。