[1P3-OS-1a] OS-1

[1P3-OS-1a-03] Does Generative AI Reinforce or Correct Discriminatory Bias?

Developing a Racial Bias Benchmark for Generative AI in the Japanese Context

〇Takahiro Akedo¹, Yu-Anis Aruga¹, Yasushi Kawaguchi², Moe Miyashita³, Jinshiro Motoyama⁴, Chunhui Ri⁵, Mark Winchester⁶ (1. Osaka Metropolitan University, 2. Yamaguchi Prefecture Human Rights Enlightenment Center, 3. Tono Tanami & Kosada Legal Professional Corporation, 4. Hitotsubashi University, 5. Ginzamiharabashi Law Office, 6. National Museum of Ethnology)

Keywords:Generative AI, Large language Models (LLMs), Benchmark, Discriminatory Bias, Racial Discrimination in Japan

生成AIブーム以降、一般ユーザーのAI利用可能性が飛躍的に拡大し、生成AIが生み出す社会的なリスクを社会科学的な観点もふまえて評価するベンチマークの必要性が高まっている。こうした中で本論文では、テキスト生成AIが生み出しうる差別的なバイアス、とりわけ人種・民族にかかわるバイアスに注目し、日本の文脈に即したベンチマークを提案する。こうしたベンチマークについては英語圏で多くのものが提案されており、その日本語版の作成も進められているが、人種・民族はとりわけ社会ごとの文脈が濃い。そのため本論文では既存のベンチマークの方法を引き継ぐ一方、在日コリアン、部落、アイヌ、沖縄、ミックスなどの専門家が協働し、日本の文脈に即した人種・民族ベンチマークの作成および各大規模言語モデルの試論的な評価を行った。その結果、全般的には各モデルとも予想以上に差別やバイアスについてトレーニングされており、バイアス回避にとどまらず積極的に差別を是正する機能も確認された。その一方で、差別の類型や質問の仕方によっては差別やバイアスの問題を生成AIが十分に認識できていないと思われる部分もみつかり、今後の課題も明らかとなった。