[3E1-GS-2] 機械学習：一般

[3E1-GS-2-03] MLOpsを促進する正解ラベル入手前の精度推定技術

〇松野 竜太¹、佐久間 啓太¹、亀田 義男¹ (1. 日本電気株式会社)

キーワード：MLOps、精度推定技術、機械学習

産業分野において、機械学習技術の実利用が進んでいる現在、予測モデルの継続的な運用技術に関する領域であるMLOpsが注目されている。MLOpsを通した予測モデルの運用では、予測モデルの性能劣化による損害を防ぐために、予測モデルの性能の監視が行われる。しかし、正解ラベルの入手に遅延がある場合には、予測時点での予測性能を直ちに算出することができない。予測性能が算出できるのは正解ラベルの入手後になり、予測性能の監視に遅延を伴うため、予測性能の劣化への対処が遅れてしまう。本研究では、運用データに対する予測モデルの予測性能を、正解ラベルなしで推定する技術を提案する。提案手法は、予測モデルの予測の妥当性を測るために、予測モデルとは別に複数のチェックモデルを作成し、予測モデルとチェックモデルの結果を比較することで予測性能を推定することができる。予測モデルの運用時における性能推定を想定した実データ実験により、従来からの手法に対して提案手法が精度、適合率、再現率、F値を低誤差に推定できることを検証した。