[1E3-GS-10] AI application:

[1E3-GS-10-05] Consistency of Ordinal Annotations in Textual Embeddings

〇YO EHARA¹ (1. Tokyo Gakugei University)

[[Online]]

Keywords:Textual Embeddings, Ordinal Scale, Annotations, Mathematical Programming, Large Language Models

大規模言語モデルの発展に伴い，難しさや感情極性など各データ点に順序（順位や段階）を人手付与した順序アノテーションの重要性が増している．順序アノテーションでは，順序の粒度を何段階にするかや各段階の観点等の設定や個人感覚の違いにより，一貫性が計測しにくい課題がある．文や語の意味を精緻に数値表現するテキスト埋め込み技術を活用し，意味の一部である順序の一貫性も精緻に計測したい．
本研究では，事前学習済の埋め込みベクトル空間に基づく順序アノテーションの一貫性の尺度を提案する．提案法は直感的には埋め込み空間上で各点ができるだけ順序アノテーション通りに並んで見える方向を探す．提案法は大域的最適解を持ち近似等の影響を受けず，人手アノテーションのデータセットと事前学習済み埋め込みがあれば，一貫性の指標が一意に定まる利点がある．このため，順序予測の他，データセット中の教師なしアノテーション誤り検出や，段階尺度の観点の一貫性計測（初級中級と中級上級が埋め込み空間上で直線的か）など，データセット構築時にも有用な幅広い応用が可能である．実際の順序アノテーションのデータセットを用いて提案手法を評価する．