[4N2-GS-7] Vision, speech media processing:

[4N2-GS-7-03] Estimation of Editing Regions for Image Manipulation via Sketches Using Machine Learning

〇Taketo Sasaki¹, Ryohei Orihara¹, Yasuyuki Tahara¹, Akihiko Ohsuga¹, Yuichi Sei¹ (1. The University of Electro-Communications)

Keywords:Image Editing, Image Generation, Adversarial Training

近年、Stable Diffusionなどの拡散モデルによる画像生成・編集の研究が多数行われている。その中でもテキスト条件付き画像生成拡散モデルでは、プロンプトと呼ばれる文章を与えることでモデルに出力したい画像を指示する。しかし、目標の画像を得るためには、それを正確に表現する言語化能力が要求されるためプロンプトのみでの画像の編集は難しい。そこで本研究では、入力にスケッチを用いてより直感的な画像の編集を目指した。さらに、非編集領域の情報を可能な限り保持するために、編集領域推定モジュールを組み込むことでより高精度な編集を目指した。その結果、スケッチのみでも編集領域の推定の兆候は見られたが、完全な推定には至らず、生成器に拡散モデルを用いるための新たな課題が見つかった。