[2K5-GS-2] 機械学習：深層学習Ⅰ

[2K5-GS-2-04] MAGMAを利用したファッションコーディネートのためのコメント生成

〇青葉 紗矢香¹、佐藤 勇元¹、益川 良藏¹、佐藤 真¹、櫨 翔佑¹、松井 太我²、石川 桂太²、高木 友博¹ (1. 明治大学、2. 株式会社エアークローゼット)

キーワード：コメント生成、ファッションコーディネート、大規模モデル、MAGMA、視覚と自然言語

本研究ではパーソナルスタイリングにおいて、2つのファッションアイテムをコーディネートして推薦する際の、コメントを生成するモデルを構築する。 コーディネート推薦においては、それらのアイテムの相性や、アクセサリー等との組み合わせについてもアドバイスする。具体的にはAdapterを用いることで言語モデルをマルチモーダルな入力に対応させた手法であるMAGMAを利用し、2枚の服画像を結合した画像とプロンプトを入力として、コーディネートコメント文を生成する。 人手によって作成されたコメントや、機械学習をベースとした従来手法との定量・定性比較を行ない、提案モデルが十分な能力を持つことを確認した。