[4R2-OS-19] OS-19

[4R2-OS-19-02] Occupation-Based Gender Bias Causal Analysis Using BERT's Attention Mechanism

〇Mana Ueno¹, Ichiro Kobayashi¹ (1. Ochanomizu University)

Keywords:Attention Mechanism, Gender Bias, BERT

インターネット上のコーパスを用いて学習を行う大規模言語モデルは、様々な社会的なバイアスを含み、その出力によって差別や不利益を生じる可能性があるために大きな問題である。本研究では、モデルがジェンダーバイアスを生み出す要因の調査を目的とし、BERTの注意機構を用いた分析を行う。職業を表す単語を含み、かつ男性語と女性語のみが異なるようにそれぞれデータセットを作成し、男女それぞれの性別単語へ向けられるAttentionの職業による違いや文脈による違いを可視化する。これにより、職業に関連したBERTのジェンダーバイアスについて分析を行なった。その結果，注意機構の後半層における職業単語から性別単語へのAttentionの差と，ジェンダーバイアスとの間に相関が見られることが分かった。