[2Q5-GS-3] 知識の利用と共有：

[2Q5-GS-3-01] マルチモーダル分析とハイブリッドモデルに基づくテレビCMデザインのパーソナライズドレコメンドシステムの構築

ユーザー属性に基づくテキスト・映像・音声の特徴量最適化

〇本美 桃佳¹、山下 遥¹ (1. 上智大学)

キーワード：レコメンドシステム、マルチモーダル、BERT

本研究では、テレビCMデザインにおける視聴者属性に基づく最適化を目指し、マルチモーダルデータとハイブリッドモデルを活用したパーソナライズドレコメンドシステムを構築する。提案手法では、視聴者の属性データとテレビCMのテキスト、映像、音声のマルチモーダルデータを統合的に活用し、SVDによる協調フィルタリングとXGBoostを組み合わせたハイブリッドモデルを構築した。テキスト分析にはBERT、映像分析にはOpenCVとYOLOv5、音声分析にはLibrosaを用い、各モダリティから特徴量を抽出した。関東1都6県の20～59歳の男女2,500人を対象とした実データ分析では、SVD単体モデルと比較して大幅な精度向上を達成し、提案手法の有効性を実証した。さらに、ライフスタイル重視層には感情トーンの高いテキストと落ち着いた映像を、情報収集志向層には繰り返し表現を用いたテキストと特徴的な音声を推奨するなど、代表的な各視聴者層に最適化されたテレビCMデザインの要素を特定することに成功した。本研究により、視聴者属性に基づくパーソナライズされたテレビCMデザインの設計指針を提供することが可能となった。