[2I5-J-9] 自然言語処理・情報検索: 文書の分類と評価

[2I5-J-9-01] 疑似順位付け評価を用いたニュースコメント順位付けモデルの教師なしアンサンブル

〇藤田 綜一郎¹、小林 隼人^2,3、奥村 学¹ (1. 東京工業大学、2. ヤフー株式会社、3. 理研AIP)

キーワード：アンサンブル、ランキング、ニュースコメント

オンラインニュースサイトには，読者の議論の場としてコメント欄が設けられているものがある．そこでは，コメントを肯定的な読者評価が多い順にランキング(順位付け)し，読者に優先的に提示しているが，コメントの良さが平等に評価されていないという問題点が知られている．良いコメントを直接ランキングする研究も行われているが，分類器の精度が高くないという課題が残されていた．
一方で，分類器のアンサンブルはモデルの精度を向上させる手法として広く知られている．最近では，要約タスクにおいて，モデル間の類似度を用いてモデルの多数決をとることで高速に動作し，かつ高い精度が得られたという報告がある．我々はドメインの性質から，コメントのランキングに，この類似度を用いた多数決によるアンサンブルモデルが適用できると考えた．
そこで本研究では，ランキングの評価指標を用いて記事毎にモデルの重要度を変化させる，多数決ベースの教師なしアンサンブル手法を提案する．ニュースコメントの建設的度合いをランキングするタスクの実験を行い，結果として，モデルの出力を評価指標の値で重み付けや取捨選択することで既存手法を上回る精度を達成した．