[3K3-J-2] 機械学習: 基礎モデルの分析と検証

[3K3-J-2-03] CTR 予測モデルの評価に AUC や log-loss は適切か?

〇片桐 智志¹ (1. 株式会社ファンコミュニケーションズ)

キーワード：機械学習、CTR 予測、評価指標、カリブレーション、オンライン広告

クリック率 (CTR) 予測はweb広告プラットフォームを持つ企業にとって最も重要なタスクの一つである. しかしながら, CTR予測は非標準的な機械学習のタスクであるため, 例えば ROC 曲線の area under the curve (AUC), 対数損失 (別名: 交差エントロピー) などの従来の評価指標は不適切になりうる. 我々の目的は, CTR予測のための新たな指標を開発することにある. 本稿では, これら従来の評価指標の欠点と, カリブレーションプロット的なアプローチに基づく指標の展望について述べる.