[2N5-OS-28a] AI技術開発におけるジェンダード・イノベーションと公平性

[2N5-OS-28a-01] BERTの注意機構に着目したジェンダーバイアスの一考察

〇上野 茉奈¹、小林 一郎¹ (1. お茶の水女子大学)

キーワード：ジェンダーバイアス、BERT、注意機構

大規模言語モデルの学習に用いられるコーパスには、性別、国籍、宗教など様々な社会的バイアスが含まれている。そのことから、言語モデル内に含まれるバイアスを調査するものやバイアスを取り除くためのものなど様々な手法が提案されている。
本研究では、性別のバイアスに着目し、従来の研究が性別の単語を対象に直接的な操作を行いバイアスを取り除く提案をしているのに対して、性別の単語に強く注意を当てている文内の単語を調査し、文脈情報が与えるジェンダーバイアスの検出を行うことを目的とする。データセット中の性別の単語を含む文章から男性語と女性語のみが異なる文章をそれぞれ作成し、BERTモデルにおける性別の単語へのAttentionの差を可視化する。これにより、BERTに含まれるジェンダーバイアスについて分析を行う。