[4Xin1] ポスターセッション2

[4Xin1-44] マルチモーダル深層学習の神経表現と算術計算に対する有効性の検討

野田 寛眞¹、〇宗田 卓史^1,2、山下 祐一¹ (1.国立精神・神経医療研究センター、2.東京医科歯科大学)

キーワード：深層学習、共感覚、マルチモーダル学習、数感覚、計算論的神経科学

多モダリティの情報を統合することはヒトの知覚や学習，意思決定に不可欠であり，その失調は様々な神経心理学的症状につながるとされる。一方，近年では機械学習の分野においても多モダリティの情報を利用する有用性が明らかになっている。特に，深層学習モデルは優れた性能を有するだけでなく，生物の神経回路を模しているため，その処理過程の理解は，ヒトの多モダリティ情報の処理プロセスや，その病理の解明につながる可能性がある。そこで，本研究では，深層学習モデルを脳における多モダリティ情報処理の計算モデルと見做し，このモデルが単一もしくは複数モダリティの情報で学習した際の潜在表現の差異を分析した。結果として，これまでの知見と一貫するように，多モダリティを利用した学習の場合には，計算モデルは優れた潜在表現を獲得できた。さらに，多モダリティ情報を用いて学習したモデルは，算術計算を行う下流タスクにおいて優れた性能を有することが分かった。本研究は，多モダリティを用いた学習によって獲得された神経表現が，数学的能力を含むヒトの高次認知機能の発現に重要であることを示唆している。