[1E4-J-12] ヒューマンインタフェース・教育支援: 身体と運動

[1E4-J-12-03] 身体の3次元構造を考慮したニューラル仮想試着

〇久保 静真¹、岩澤 有祐¹、鈴木 雅大¹、松尾 豊¹ (1. 東京大学)

キーワード：GAN、仮想試着、画像生成

身体の3次元構造を利用したGANベースの仮想試着の手法を提案する．既存手法として，GANやSwapGANが存在するが，それらは直立正面以外の姿勢の人物画像ではうまく着せ替えを行なうことができないことがある．提案手法では，画像の各ピクセル点に対応する3次元の3Dモデル上の点をDenseposeで推定することによって，身体構造の情報をモデルに組み込んだ．それにより，様々な姿勢に対応ができる．提案手法は2段階のネットワークになっている．まずパーツ生成ネットワークでパーツを生成し，それを人物画像にマッピングし，着せ替え画像を生成する．その後，精錬ネットワークでその着せ替え画像を精錬する．実験では，提案手法の生成結果を示し，既存手法との比較により，様々な姿勢の人物の着せ替えに有効であることを示す．