[2K5-ES-2] Machine learning: Multimedia

[2K5-ES-2-01] 消費者が見た売場を推定するためのアイトラッキング動画への深層学習の応用

〇石橋 健¹、李 振²、矢田 勝俊³ (1. 兵庫県立大学、2. 東洋大学、3. 関西大学)

キーワード：アイトラッキング、消費者行動、データの前処理、深層学習、一般物体認識

本研究の目的は装着型アイトラッキングデバイスを使って記録した動画から、その消費者がいつどこを見ていたのか自動的に推定することである。つまり、アイトラッキング装置を使って顧客動線データを収集することを試みる。アイトラッキングで記録した動画において、消費者が見ていたオブジェクトやシーンは人によって同定されていた。しかしながら、フィールド実験で収集するデータは様々な場面を含むため、多大な労力を必要とする。そのため、消費者の動線はRFIDなどの他のセンサーを用いて収集されていた。本研究は深層学習を用いて、消費者が見た場面から存在する売場を推定することを試みる。本稿では、公開されている一般物体認識モデルを用いて、消費者が見た売場を同定する。この技術は、アイトラッキングを用いた研究の障壁であるデータの前処理の負担を軽減することができる。また、本提案は消費者の動線と眼球運動のデータ融合に利用できるデータの収集を容易にすることが期待される。本稿では、顧客動線データによって売り場を同定されたアイトラッキングデータを用いて、本提案の推定精度を検証する。