[4P3-J-10] 画像・音声: 画像の認識と学習

[4P3-J-10-04] ニューラルネットワークを用いたヒトの脳活動からの動的視覚刺激の再構成

〇永野 雄大¹、小林 一郎²、西本 伸志³、中山 英樹¹ (1. 東京大学 情報理工学系研究科、2. お茶の水女子大学 基幹研究院 自然科学系、3. 情報通信研究機構　脳情報通信融合研究センター)

キーワード：デコーディング、脳活動、fMRI

デコーディングは神経科学において重要な研究分野となっており、脳機能の解明、脳の病気の解析、ブレイン・マシン・インターフェースの開発などに役立つと考えられている。本研究の目的は、ヒトの脳活動をデコーディングし、動的視覚刺激を再構成することである。動的視覚刺激の再構成のため、我々はニューラルネットワークと GAN ベースのニューラルネットワークを用いる。また、近年の GAN のモデルを複数用い実験することで、どのモデルを用いた場合に性能が向上するか確認する。さらに、学習に使用する脳の領野を変化させることで、再構成の性能が変化するかを確認する。また、再構成の質を向上させるため、我々は連続したフレームの脳活動を入力として与え、定量評価により複数フレーム化の効果を計測する。これにより、複数フレーム化によるデコーディングが効果的であることを示す。