[4D2-OS-4a] Affective Computing(1/3)

[4D2-OS-4a-03] 複数の画像ドメインにおける顔表情特徴量を用いた画像の好み推定

〇佐藤 好幸^1,2、洞口 勇太³、Vanel Lorraine³、塩入 諭^2,1,3 (1. 東北大学ヨッタインフォマティクス研究センター、2. 東北大学電気通信研究所、3. 東北大学大学院情報科学研究科)

キーワード：食べ物画像、好み推定、顔表情

インターネット技術や携帯端末の進化に伴い，SNSでの他人の投稿画像や自ら撮影した写真など，我々が接する画像コンテンツの数は増加の一途をたどっている．そのような状況においては，ユーザーに負担をかけずに画像に対する好みを推定し推薦する技術は重要なものとなる．そこで本研究においては，Instagramに投稿された画像に対するユーザーの好みを，暗黙的情報から機械学習を用いて推定する手法の開発を行った．評価する画像そのものに加えて，評価を行っている際の顔映像情報を暗黙的情報として用いた．さらに，お弁当画像と風景画像という異なる画像ドメイン間で，予測に有用な顔表情特徴がどのように変わるかの検証を行った．その結果，どちらの画像ドメインにおいても，予測性能は画像のみを用いた場合，顔画像のみを用いた場合，両方を用いた場合，の順に上昇することがわかった．さらに，特徴量の貢献度分析により，お弁当画像に対しては笑顔に関する顔表情特徴が，風景画像に関しては恐れや怒りに関する顔表情特徴が重要であることがわかった．