[2R4-OS-12] 機械学習品質評価・向上技術

[2R4-OS-12-03] 機械学習モデル調整過程の比較可視化手法

〇宮城 優里¹、大西 正輝¹ (1. 産業技術総合研究所)

キーワード：可視化、作業者

本発表では機械学習モデルの品質評価支援を目的として，作成したモデルの特徴とその調整作業の過程を可視化する手法を提案する．近年，学習データの性質やモデルの構造，出力といったモデル自体の情報を対象とする可視化手法は多数発表されている．その一方で，モデルの作業者（アノテータ，設計者，エンドユーザ）に関する情報を可視化する手法は少ない．モデル作成過程での作業者の積極的な介入(Human in the loop)はモデルの精度向上に有効であると認められており，作業者の情報を含む可視化はモデルの性質の詳細な理解，調整内容の評価，有効な改善策の提示などに有用であると考えられる．そこで我々は，作業者に関する情報としてモデルの変更履歴や，個々の調整作業の目的の可視化に焦点を当てた可視化ツールの設計を進めた．モデルの調整過程でデータ，モデル構造，最適化アルゴリズムにどの程度の差分が生じたのかを計算し，変更の意図（総合的な精度向上，既存手法の再現など）と合わせて可視化する．実行例として機械学習の実験管理ツールであるComet.mlを用いて画像分類用のモデルを学習・テストした際の履歴の可視化結果を紹介する．