[2G5-OS-18a] 脳波から音声言語情報を抽出・識別・利用する(1/2)

[2G5-OS-18a-02] EEGデータでの事前学習済み深層学習モデルを用いたInner Speechの単語分類

〇湯川 直旺¹、鈴木 雅大¹、松尾 豊¹ (1. 東京大学)

[[オンライン]]

キーワード：転移学習、スピーチデコーディング、EEG、inner speech

脳活動データからのinner speechのデコードは, 障害を抱えた患者の意思疎通の円滑化や, メタ認知理解などに繋がると考えられる. 先行研究では, 深層学習モデルEEGNet を用いて実験が行われたが, 4 クラス分類のタスクで30% ほどの正答率であった. ここで, 転移学習を用いた特徴量抽出の精緻化が有効であると考えられる.
しかしinner speech に転移学習が用いられた研究は未だなく, EEGデータ一般でも, 異なるタスクのデータや, EEG以外のデータの転移学習における有効性については, 十分に検証がなされていない.
本研究では, inner speech データセットに, ドメインやデータ量の異なるデータセットを用いた転移学習を行い, 特徴量抽出の改善を検証した.
結果, 異なる被験者のデータを用いた転移学習による精度の向上が確認できたが, 異なるタスクのEEGデータを用いた場合は精度は改善しなかった. 一方で画像データセットは, 凍結する層を工夫することで, EEGデータとは性質が異なるにも関わらず, 精度の向上が確認された.