[2C1-GS-7] 画像音声メディア処理：

[2C1-GS-7-03] 漫画データにおける吹き出しを考慮した条件付けによる拡散モデルの追加学習

〇寺澤 滉士良¹、鈴木 雅大¹、松尾 豊¹ (1. 東京大学)

キーワード：画像生成AI、漫画、生成AI

漫画の人気が高まる一方，作画工程は時間を要する．負担軽減を目的とした研究があるものの、画像変換が主で課題解決が限定的であった．
拡散モデルが登場し、欲しい画像を高精度で生成が可能となった。また、学習済モデルを追加学習することで、低コストでの漫画ドメインへの特化が可能となり、より高度な作画工程の補助が期待できる．
本研究は拡散モデルの漫画データによる追加学習を対象とする．通常と異なり、漫画の画像生成は，後から挿入可能な吹き出しや文字(ノイズ)を生成しないことが求められる．データの性質上，ノイズなしのデータを集めることは困難であり，学習時に工夫が必要である．
追加学習時にノイズを条件付けて学習し，推論時はノイズなしで条件付け生成する方法を提案する．提案手法は，条件付けなしで学習させるよりも生成画像のノイズが大幅に減ることに加えて画像クオリティが向上することを実験的に示した．