[4M1] 画像・音声-画像処理(1)

[4M1-04] 多様な仮想空間を構築するための画像モダリティ変換

益田 慎太¹、町田 貴史²、〇松原 崇¹、上原 邦昭¹ (1. 神戸大学 大学院システム情報学研究科、2. (株）豊田中央研究所)

キーワード：画像変換、画像処理、仮想空間

様々なベンチマークで機械学習が成功を収めたことを受け，実世界への応用が注目を浴びている．機械学習システムは幅広いデータを用いて訓練し，様々な条件下で検証する必要があるが，大量のデータを集めることはコストの問題がある．そこでデータ増大の需要が生じる．本稿で我々は実画像をそのモダリティから異なるモダリティ（たとえば昼から夜へ）変換することでデータ増大することを試みる．このようなデータ増大は様々なモダリティで機械学習システムを訓練・検証することを可能にする．まず既存手法であるpix2pixとcycle-GANがデータ拡張に応用する上で行くるかの問題があることを示す．pix2pixはペアとなる画像が変換前後のモダリティに存在する必要があるか，モダリティ間の違いを乗り越えられない．cycle-GANはモダリティ変換時に画像の一貫性を保つことに失敗することがある．我々はこれらの手法に対し，モダリティ変換時に一般性を向上させる修正を提案する．