[2H5-GS-11] AIと社会：

[2H5-GS-11-02] 大規模言語モデルによる専門家のシミュレーション

法学教授の事例研究

〇福島 誠¹、山本 優樹²、落合 孝文³、稲谷 龍彦⁴ (1. 有限責任監査法人トーマツ デロイト アナリティクスR&D、2. デロイト トーマツ リスクアドバイザリー合同会社、3. 渥美坂井法律事務所・外国法共同事業プロトタイプ政策研究所、4. 京都大学大学院法学研究科)

キーワード：大規模言語モデル、法学、ビックファイブ

大規模言語モデル（LLM）の対話性能は向上し続けており、人間の振舞いを再現する能力も進化の一途を辿っている。LLMのin-context learningに利用可能なトークン数の増加に伴い、LLMに特定の専門家として振舞わせることもより手軽に可能になってきた。しかし、極めて高度な能力を持つ専門家の知的活動をLLMで模倣するための明確な手続きは確立されていない。本研究では、LLMによって法学部の教授の振舞いを再現することにより、より一般的に専門家の回答をLLMによって再現するための手続きを確立することを目的とする。教授本人の著作データや知人からのフィードバックをもとにシステムプロンプトを構成し、それを入力したLLMの振舞いを本人の回答と比較した。このLLMは総合的社会調査の質問項目を約60％の精度で再現した。一方で、教授本人の回答によるビッグファイブ性格特性とLLMの回答による性格特性の相関は低いレベルであったが、教授の知人による評価と高い相関を示した。性格の自己評価と他者評価のギャップや、LLMの回答に含まれるバイアスの影響を考慮し、今後の性能改善の方法について議論する。