[2I5-J-9] Natural language processing, information retrieval: classification and evaluation

[2I5-J-9-01] Unsupervised Ensemble of Ranking Models for News Comments Using Pseudo Ranking Evaluation

〇Soichiro Fujita¹, Hayato Kobayashi^2,3, Manabu Okumura¹ (1. Tokyo Institute of Technology, 2. Yahoo Japan Corporation, 3. RIKEN AIP)

Keywords:ensemble, ranking, news comment

オンラインニュースサイトには，読者の議論の場としてコメント欄が設けられているものがある．そこでは，コメントを肯定的な読者評価が多い順にランキング(順位付け)し，読者に優先的に提示しているが，コメントの良さが平等に評価されていないという問題点が知られている．良いコメントを直接ランキングする研究も行われているが，分類器の精度が高くないという課題が残されていた．
一方で，分類器のアンサンブルはモデルの精度を向上させる手法として広く知られている．最近では，要約タスクにおいて，モデル間の類似度を用いてモデルの多数決をとることで高速に動作し，かつ高い精度が得られたという報告がある．我々はドメインの性質から，コメントのランキングに，この類似度を用いた多数決によるアンサンブルモデルが適用できると考えた．
そこで本研究では，ランキングの評価指標を用いて記事毎にモデルの重要度を変化させる，多数決ベースの教師なしアンサンブル手法を提案する．ニュースコメントの建設的度合いをランキングするタスクの実験を行い，結果として，モデルの出力を評価指標の値で重み付けや取捨選択することで既存手法を上回る精度を達成した．