[3P3-OS-20] 脳波から音声言語情報を抽出・識別する

[3P3-OS-20-01] 音声刺激による脳活動の言語解読への取り組み

〇漆原 理乃¹、小林 一郎¹、山口 裕人^2,3、中井 智也^2,3、西本 伸志^2,3 (1. お茶の水女子大学、2. 情報通信研究機構 脳情報通信融合研究センター、3. 大阪大学)

キーワード：脳科学

近年, 脳神経活動の意味表象を捉える研究が盛んになっている. 本研究では, Functional Magnetic Resonance Imaging (fMRI) で観測した音声刺激下の脳活動データから, 人が脳内に想起した高次意味表象を言語として解読することを目指し, 深層学習を用いて, 音声刺激による脳活動データからその意味表象をテキストとして生成する手法を構築する. しかし, fMRI により観測する脳活動データは取得のためのコストが大きく, 大量の学習データを要する深層学習を十分に行うための大規模なデータ収集は困難である. そのため, 自動音声認識手法を援用することで少量データを効率的に活用する. 実験により, 脳活動データの特徴量と音声特徴量の間の高い相関を確認した.