[3M5-GS-12] ヒューマンインタフェース・教育支援: 状態推定 (2)

[3M5-GS-12-03] マルチモーダル情報に基づく学習者のエンゲージメント推定

〇内山 和也¹、中野 有紀子¹ (1. 成蹊大学)

キーワード：エンゲージメント、マルチモーダル、学習支援

e-learningによる学習では，教師が対面する学習とは異なり，学習者の状態が把握しにくいという問題がある．これを解決するために，学習者の態度を推定する技術の研究が進んでいる．本研究では，とくに学習者の積極性(engagement)に焦点を当て，脳波や表情など複数のモダリティ情報に基づき，engagementの程度を推定するモデルを提案する．まず，データセットを作成するために，e-learningの環境を模した実験を行い，ビデオ教材視聴時，演習課題解答時，解説の視聴時という3つの異なる学習フェーズにおける学習者の表情，視線，筆記，そして，脳波を計測した．学習者のengagementの評価として，本人による申告と第三者によるビデオ観察に基づく評価を行った．サポートベクター回帰により，表情と脳波のデータからengagementの程度を推定するモデルを作成した．今後は，視線や筆記データも入力に加え，より高性能なマルチモーダル推定モデルを作成する予定である．