[1M3-OS-47a] AIと人のインタラクションによる価値創造とエンパワーメント

[1M3-OS-47a-05] Large Language Models における意図的な性能制限

〇岩井 皓暉¹、熊谷 雄介¹、馬場 雪乃² (1. 株式会社博報堂DYホールディングス、2. 東京大学)

キーワード：大規模言語モデル、ベンチマーク、ペルソナ、ロールプレイ

大規模言語モデル（LLM）は指示文に応じて未知のタスクに高い精度を発揮したり，その振る舞いを柔軟に変えるという性質を持つ．この性質を利用し，LLM に仮想的な人物や性格を付与し，そのように振る舞わせる取り組みがある．その際，LLM の性能を意図的に制限できるならば，構築した仮想的な人物が確からしくなるだろう（例えば，幼稚園児が積分の計算ができないようにするなど）．本研究ではそのような LLM の意図的な性能低下に取り組む．日本語ベンチマークを用いた実験の結果，指示文のみでは LLM の下流タスクにおける性能の低下が困難であることを報告する．また，性能低下の計測に必要なベンチマークについても検討する．