[2G5-OS-18a] 脳波から音声言語情報を抽出・識別・利用する(1/2)

[2G5-OS-18a-01] 言語刺激下の予測脳活動を対象にした汎用言語モデルと深層学習モデルの検証

〇隅田 莉香子¹、山口 裕人^2,3、中井 智也³、西本 伸志^2,3、小林 一郎¹ (1. お茶の水女子大学、2. 大阪大学、3. 情報通信研究機構脳情報通信融合研究センター)

キーワード：fMRI、深層学習、言語処理

音声会話刺激における脳内状態推定において，音声スペクトログラムを音声特徴量として脳活動データに3種類の深層学習モデル(Bi-LSTM/Bi-GRU/Bi-RNN)を用いて推定する実験を行ない、それぞれのモデルの推定性能の比較を行った．どのモデルにおいても大きな差異はなく、音韻や文法処理を司るとされる耳に近い脳領域に反応が見られた． さらに、聴覚刺激をテキストに興し、言語特徴量を用いて脳活動推定を行なった．埋込ベクトルに変換する汎用言語モデルにはRoBERTa/BERT/word2vecを用いた．本実験では，耳の周辺領域に限らず脳内における広い言語領域で反応が確認できた．