[3B3-E-2] Machine learning: image recognition and generation

[3B3-E-2-03] Cycle Sketch GAN : Cycle GANアルゴリズムに基づいた教師なしスケッチ変換

〇小島 武¹ (1. Peach Aviation 株式会社)

キーワード：Cycle GAN、スケッチ生成モデル、教師なし学習、Transformer、QuickDraw

ピクセルレベルの画像生成とは異なり、スケッチモデルは筆順情報を生成する。本論文では、ソース領域のスケッチをターゲット領域のスケッチに変換する教師なし学習モデル「Cycle Sketch GAN」を提案する。本モデルはCycle GANアルゴリズムに基づくが、GeneratorにはTransformer Encoder構造を採用する。Transformer Encoderはソース領域の筆順情報を読み込み、出力分布のパラメータを生成するが、その分布からのreparametrization trickによるサンプリングをターゲット領域の筆順情報とみなす。また、この分布の負の対数尤度をcycle consistency lossとして利用する。本モデルをQuickdrawデータセットで学習させ評価を行った。定性評価では、スケッチが実際にソース領域からターゲット領域に変換されることを確認した。定量評価では、ユーザ調査により、人間が描いたスケッチが71％の精度で認識可能であることに対し、モデルによって変換されたスケッチが42％の精度で認識可能であることを確認した。