[3Yin2] インタラクティブセッション1

[3Yin2-47] アノテータ属性について公平なラベル統合

〇植田 涼介¹、竹内 孝¹、鹿島 久嗣¹ (1.京都大学)

キーワード：回答統合、公平性、クラウドソーシング

機械学習の教師あり学習やモデルの評価のためには教師データが必要であり，そのラベル付けは主に人の手で行われる．しかし，人間によるアノテーションは品質にばらつきがあるため，冗長にラベルを収集し，多数決などによってラベル統合する．機械学習モデルの公平性が関心を高める中で，我々は教師データの作成に使われるラベル統合モデルの公平性に注目する．本研究では，アノテータの属性について公平なラベル統合アルゴリズムを提案する．データ分離法・サンプル重み補正法・Eステップ補正法の３つの公平化手法を提案し，既存のラベル統合モデルと組み合わせる．米国の再犯予測問題についてのデータセットを用いて，提案手法を取り入れたラベル統合アルゴリズムの結果を比較する．まず精度について，実験結果から提案手法の導入により軽微な精度の低下が見られた．一方でアノテータ属性ごとのラベルと統合結果との一致率を比較すると，提案手法は少数派のアノテータによるラベルの一致率が高く，少数派のラベルがより統合結果に反映された．