[4C2-J-1] 基礎・理論: 脳から作る知能

[4C2-J-1-03] 深層学習を用いた動画刺激時の脳活動データからの文生成

〇張 嘉瑩¹、西田 知史²、西本 伸志²、小林 一郎¹ (1. お茶の水女子大学、2. 情報通信研究機構 脳情報通信融合研究センター)

キーワード：脳科学、動画説明文生成

近年脳神経科学の分野において、脳活動データを言語表現で定量的に分析する研究が多く出てきている。本研究は深層学習を用いて動画刺激時の脳活動データから自然言語文を生成することを目的とした。その際、脳活動データ数が少ないことから、事前学習したS2VTモデル(動画説明文生成手法)を援用した。脳活動データをその手法に適応するために、脳活動データと動画特徴量の対応関係を学習した。実験結果としてはまだ適切な文章を生成するには至っていない。今後の課題としてモデルの改良を行う。