[1P3-OS-1a] データセットとベンチマークの技術的・社会的な視点

[1P3-OS-1a-03] 生成AIは差別や偏見を強化するのか、それとも是正するのか？

日本の文脈に即した人種・民族バイアスベンチマークの試み

〇明戸 隆浩¹、有賀 ゆうアニース¹、川口 泰司²、宮下 萌³、元山 仁士郎⁴、李 春熙⁵、ウィンチェスター マーク⁶ (1. 大阪公立大学、2. 一般社団法人山口県人権啓発センター、3. 弁護士法人戸野・田並・小佐田法律事務所、4. 一橋大学、5. 銀座三原橋法律事務所、6. 国立民族学博物館)

キーワード：生成AI、大規模言語モデル、ベンチマーク、差別的バイアス、日本の人種差別

生成AIブーム以降、一般ユーザーのAI利用可能性が飛躍的に拡大し、生成AIが生み出す社会的なリスクを社会科学的な観点もふまえて評価するベンチマークの必要性が高まっている。こうした中で本論文では、テキスト生成AIが生み出しうる差別的なバイアス、とりわけ人種・民族にかかわるバイアスに注目し、日本の文脈に即したベンチマークを提案する。こうしたベンチマークについては英語圏で多くのものが提案されており、その日本語版の作成も進められているが、人種・民族はとりわけ社会ごとの文脈が濃い。そのため本論文では既存のベンチマークの方法を引き継ぐ一方、在日コリアン、部落、アイヌ、沖縄、ミックスなどの専門家が協働し、日本の文脈に即した人種・民族ベンチマークの作成および各大規模言語モデルの試論的な評価を行った。その結果、全般的には各モデルとも予想以上に差別やバイアスについてトレーニングされており、バイアス回避にとどまらず積極的に差別を是正する機能も確認された。その一方で、差別の類型や質問の仕方によっては差別やバイアスの問題を生成AIが十分に認識できていないと思われる部分もみつかり、今後の課題も明らかとなった。