[3Rin4] インタラクティブ1

[3Rin4-52] 感情に関するマルチラベルアノテーションにおける正解基準の設定

〇田辺 ひかり¹、小川 哲司¹、小林 哲則¹、林 良彦¹ (1.早稲田大学)

キーワード：感情分類、マルチラベル分類、アノテーション統合

機械学習のためのデータ作成では複数アノテータによるラベル付与結果を何らかの方法で統合し，一つの正解ラベルを決定することが一般的である．マルチラベル感情分類においては，感情の定義が難しいこと，アノテータ個人の感じ方の違いなどによりアノテータのラベル付与にゆらぎが生じることが頻繁に起こる．このようなノイズの多い状況から正解ラベルを決定する場合，データ作成方法がモデルの学習・精度に大きな影響を与えると想定される．本研究では学習時と評価時のデータの正解基準を変化させるとモデルの学習と精度にどう影響するかを実験的に調査した．マルチラベル感情分類を扱うStory Commonsense Datasetに対し，異なる正解基準でデータを作成しBERTによる学習と推定を行った．アノテーションの統合方法は単純多数決を含む2種類を使用し，学習データと評価データで基準は別個に設定した．実験の結果，学習時の正解基準を評価時よりも緩くした場合に，同じ正解基準で学習・評価を行うよりも高い精度を達成した．また正解基準の厳しさと推定のrecallの高さはトレードオフの関係にあることが示された．