[3D5-OS-22b] 創作者と人工知能が創る創作の未来 (2)

[3D5-OS-22b-05] ファッションアイテムの分散表現に基づくコーディネート理解

〇林 美衣¹、森 直樹¹ (1. 大阪府立大学)

キーワード：ファッション、画像、画像処理、Polyvore

近年，ファッション分野への人工知能技術の適用が注目されている．本研究は，複数のファッションアイテム画像で構成されたコーディネートに関するデータセットを用いて，センスの良い衣服の組合せを推定する手法の提案を目的とする．
提案手法ではまず Convolutional Auto Encoder により, アイテム画像を分散表現化した．
次に, データセットのコーディネートをセンスの良い正例として，コーディネート内の 1 つのアイテムを残りのアイテム群から推定した．具体的には複数の画像の分散表現を連結して入力とし，予測アイテム画像の分散表現を出力として深層学習を用いて学習させた．テストとして，予測候補と選択肢の分散表現におけるユークリッド距離に基づく 4 択問題を解いた．この結果，同一カテゴリの中から選択する場合の識別率は高くはなかったが，組合せ的には違和感がないものが多いことがわかった．また, 異種カテゴリで選択肢を構成した場合では識別率は改善し，例えばトップスの解答としてバッグなど不適切なカテゴリのアイテムを選ぶことが間違いであることは学習できた．