[4Pin1] インタラクティブ(2)

[4Pin1-37] 脳表象モデルを用いた任意の視覚入力に対する知覚内容推定システム

〇西田 知史^1,2、西本 伸志^1,2 (1. 情報通信研究機構、2. 大阪大学)

キーワード：脳、脳情報デコーディング、fMRI、深層学習、自然言語処理

機能的磁気共鳴画像法（fMRI）を用いた脳情報解読は実世界における様々な応用が期待されているが、新たな解読をするたびにfMRIによる脳活動計測が必要となり、その計測コストが応用の大きな障壁となっている。そこで本研究では、視覚コンテンツに誘起される知覚経験を推定するための脳情報解読として、解読モデルを構築後は追加のfMRI計測を必要としない、全く新しい形の解読手法の提案を行う。提案手法は、個人脳データから構築される、視覚情報が誘発する脳活動を予測するモデルと、予測した脳活動から知覚内容を解読するモデルから構成される。学習済みの2つのモデルを連結することで、新規の視覚情報に対して、追加のfMRI計測なしに個人の知覚内容が推定可能になる。検証の結果、提案手法は知覚内容を適切に推定し、かつ知覚の個人差も推定することが示された。これにより、提案手法は、任意の視覚入力により誘起される個人の知覚経験を、脳内知覚表象を介して推定する計算システムとして機能することが示唆された。