[2Q5-GS-3] Knowledge utilization and sharing:

[2Q5-GS-3-01] Construction of a Personalized Recommendation System for TVCM Design Based on Multimodal Analysis and Hybrid Model

Optimization of Text, Video, and Audio Features Based on User Attributes

〇Momoka Hommi¹, Haruka Yamashita¹ (1. Sophia University)

Keywords:Recommend system, Multimodal, BERT

本研究では、テレビCMデザインにおける視聴者属性に基づく最適化を目指し、マルチモーダルデータとハイブリッドモデルを活用したパーソナライズドレコメンドシステムを構築する。提案手法では、視聴者の属性データとテレビCMのテキスト、映像、音声のマルチモーダルデータを統合的に活用し、SVDによる協調フィルタリングとXGBoostを組み合わせたハイブリッドモデルを構築した。テキスト分析にはBERT、映像分析にはOpenCVとYOLOv5、音声分析にはLibrosaを用い、各モダリティから特徴量を抽出した。関東1都6県の20～59歳の男女2,500人を対象とした実データ分析では、SVD単体モデルと比較して大幅な精度向上を達成し、提案手法の有効性を実証した。さらに、ライフスタイル重視層には感情トーンの高いテキストと落ち着いた映像を、情報収集志向層には繰り返し表現を用いたテキストと特徴的な音声を推奨するなど、代表的な各視聴者層に最適化されたテレビCMデザインの要素を特定することに成功した。本研究により、視聴者属性に基づくパーソナライズされたテレビCMデザインの設計指針を提供することが可能となった。