[3D5-GS-2] 機械学習：深層学習Ⅲ

[3D5-GS-2-02] ファッションアイテム推薦のための大規模言語モデルを用いたコメント生成

〇佐藤 勇元¹、青葉 紗矢香¹、益川 良藏¹、佐藤 真¹、櫨 翔佑¹、松井 太我²、石川 桂太²、高木 友博¹ (1. 明治大学、2. 株式会社エアークローゼット)

キーワード：大規模モデル、ファッションアイテム推薦、コメント生成、画像＆言語処理

パーソナルスタイリングにおいて、スタイリストは顧客の特徴、利用目的、季節などの様々な状を考慮して、ファッションアイテムを選択する。その際、その選択理由について注意深くコメントし、 推薦するファッションアイテムとともに顧客に送る。 これに対し我々は、アダプタベースのファインチューニングによって言語モデルをマルチモーダル入力に対応させた手法であるMAGMAを利用し、アイテム画像の組み合わせとプロンプトから、コメント案を生成するモデルを構築する。 提案モデルに対して定量・定性評価を行なった結果、MAGMAを利用したモデルが従来手法よりも優れていることを確認した。