[4D1-GS-2] 機械学習：不確実性・情報可視化

[4D1-GS-2-05] MLOpsを促進する予測モデルの運用時分類精度の推定誤差の改善

〇松野 竜太¹、佐久間 啓太¹、廣川 暢一¹、亀田 義男¹ (1. 日本電気株式会社)

キーワード：MLOps、精度推定技術、機械学習

機械学習技術の効果的な運用を実現するMLOpsでは, 正解ラベルを即座に入手できない場合に, 運用中の予測モデルの予測性能を推定することが重要である. 従来手法として, 予測モデルの予測を検査するチェックモデルをクロスエントロピー損失を用いて作成し, 予測モデルの分類精度等を推定する手法が知られている. 本研究では, 精度推定において重要となる予測モデルの予測ラベルに対する予測確率を重点的に学習するGBCE損失を定義し, GBCE損失を用いて作成したチェックモデルによって精度を推定する手法を提案する. 提案手法は, 予測モデルの精度の絶対推定誤差をCE損失を用いた手法よりも厳しく抑えるため, 精度推定誤差を小さくすることができる. 理論解析により提案手法の理論的な優位性を明らかにし, さらに実データを用いた数値実験により, 精度推定誤差をCE損失を用いた手法と比較して, 最大56.3%削減できることを確認した.