[2O1-GS-10] AI application:

[2O1-GS-10-05] Pose-controlled Manga Character Image Generation by Constructing A Dataset with Pose Information Added to MANGA109

〇YURO OKADA¹, SYUN KITGAWA¹, KENGO WATANABE¹, MICHIMASA INABA², ATUSHI HASHIMOTO^1,3, SATOSHI KURIHARA¹ (1. Keio University, 2. The University of Electro-Communications, 3. OMRON SINIC X Corporation)

Keywords:Image Generation, Manga Character, MANGA109

漫画キャラクターの作成において，既存キャラクターとの差別化が求められる．しかし，漫画キャラクターを比較する際，姿勢の違いが印象に影響を与え，公平な比較が難しくなる．そのため，漫画キャラクターの生成時には，同じ姿勢で生成することが望ましい．既存手法では，姿勢を制御したキャラクター画像の生成は可能であるが，学習データセットに漫画画像が含まれていないため，生成キャラクターに漫画特有の表現が見られない．本研究では，MANGA109に新たに姿勢情報を付与したデータセットMANGA109 Poseを構築した．このMANGA109 Poseを学習データセットとして，画像生成手法ControlNetを学習させ，指定された姿勢に基づく漫画キャラクターの画像生成を行った．実験の結果，従来手法と同程度の品質と入力テキスト通りの画像を生成する指示追従性がある漫画キャラクター画像の生成を実現した．