[2K4-ES-2] Machine learning: GAN

[2K4-ES-2-05] Conditional CycleGANによるコンテンツ画像から条件付き画風画像への変換

〇小松 里奈¹、ゴンサルベス タッド¹ (1. 上智大学)

キーワード：スタイル変換、Conditional CycleGAN、深層学習、敵対学習

CycleGANによるphoto-to-artistic image変換では、現実世界の画像らというドメインに対し、とある画家の作品を集めたスタイルドメインという1対1のドメイン変換が行われている。複数のスタイルに変換したい場合、それぞれのスタイルを学習した複数のCycleGANが必要になる。
本研究では1つのGeneratorで複数種類のスタイル変換を目標に、CycleGANを拡張したConditional CycleGAN をベースとした1対Nのドメイン変換学習アーキテクチャを提案する。1つのコンテンツ画像と変換先スタイルベクトルも加えたインプットで、モネ風やゴッホ風など7種類のスタイル変換画像を取得できるようにした。実験ではスタイルドメインでの敵対ロスとしてPatchGANを用いた場合とPatchGAN + Auxiliary Classifier Lossを用いた場合で学習を実施した。
スタイル変換の結果では、PatchGANでのアーキテクチャでもPatchGAN + Auxiliary Classifier Lossと同程度に、筆のタッチや色合いに違いをつけての変換を行うことができた。