[2Win5] ポスターセッション2

[2Win5-55] NaiLIA: 緩和損失に基づくネイルデザインのマルチモーダル検索

〇雨宮 佳音¹、小松 拓実¹、八島 大地¹、是方 諒介¹、勝又 圭¹、杉浦 孔明¹ (1.慶應義塾大学)

キーワード：マルチモーダル検索、マルチモーダル基盤モデル、ネイルデザイン

ネイルサロンの世界市場規模は110億ドルであり、ユーザの希望に沿ったネイルデザインを施術可能なネイリストの検索はニーズが大きい。特に、ネイリストに依頼する場合と同様の表現でネイルデザイン画像を検索できれば便利である。しかし、ネイルデザインの依頼文は、色や模様、モチーフ、印象など複数の要望を含むことから複雑であり、これらの言語表現のモデル化は現状不十分である。そこで、本研究ではマルチモーダル大規模言語モデルに基づくマルチモーダル検索手法を拡張し、ネイルデザインの依頼文をもとにネイルデザイン画像を検索するNaiLIAを提案する。また、NaiLIAを学習および評価するため、1万枚以上の多様なネイルデザイン画像、および各画像に対してアノテーションされた依頼文から構成されるデータセットを構築した。実験の結果、標準的な画像検索指標において、NaiLIAは既存のベースライン手法を上回った。