[2M6-OS-19d] 世界モデルと知能(4/4)

[2M6-OS-19d-03] 微分可能な自動データ拡張を用いたラベルなしテストデータセットの評価

〇河野 慎¹、冨江 伸太朗²、松尾 豊¹ (1. 東京大学、2. 京都大学)

キーワード：ラベルなしテスト評価、データ拡張、深層学習

深層学習を用いた実応用研究及びオープンデータセットの整備が進んでいる．実世界での精度評価のために収集データへのアノテーションが必要となるが，さまざまな条件下での運用を想定した場合収集データが膨大になり，アノテーションの問題が生じる．そこで本研究では，ラベルあり訓練データを用いたラベルなしテスト評価に取り組む．学習済みモデル(分類器)の与えられたデータセットにおける精度を予測可能なモデル(予測器)を用いることで，ラベルなしテストセットでの精度の予測が可能となる．予測器を訓練させるため，ラベルあり訓練データを変換したデータセット(メタセット)を用意する．メタセットには元のデータセットのラベルが付与されているため，学習済み分類器による精度の回帰問題として定式化ができる．この時，学習データであるメタセットの作成方法が重要となる．本研究では，テストセットの統計量から必要なメタセットの統計量を算出し，微分可能なデータ拡張を用いて所望のメタセットを作成する手法を提案する．本研究では，MNISTやUSPSなどのベンチマークデータセットを用いて実験を行い，その結果を報告する．