[2J4-GS-1] 基礎・理論

[2J4-GS-1-04] 脳融合BERT：脳活動予測を介してBERTの振る舞いを脳に近づける

〇川畑 輝一^1,2、王 佳新^1,2、Blanc Antoine¹、西本 伸志^1,2、西田 知史^1,2 (1. 情報通信研究機構（NICT）未来ICT研究所 脳情報通信融合研究センター（CiNet）、2. 大阪大学大学院生命機能研究科)

キーワード：自然言語処理、人間らしさ、個人差、脳、脳機能イメージング

近年大きな発展を遂げている自然言語処理（NLP）技術だが、性能は向上する一方で、人間らしい振る舞いを獲得する点においては、いまだ改善の余地が多く残されている。本研究は、我々が開発した脳活動予測を介して人工知能に脳情報を融合する手法を、既存NLP技術であるBERTに適用することで、人間らしく振る舞う脳融合BERT（Bi-BERT）の実現を目的とする。この手法では、映像の内容説明文に対するBERTの内部情報から映像視聴時のfMRI脳活動を予測するモデルを構築する。学習済みの予測モデルは、追加の脳計測なしで任意の映像説明文から脳活動を予測できる。そして、予測脳活動を解読するモデルによって、映像に結びついた人間の認知や行動を反映するラベルを推定する。Bi-BERTの性能検証のために、ラベル推定精度の向上に加え、ラベル推定時の內部情報表現における脳への近接と個人差の反映という観点から、通常のBERTとの比較を行った。結果、全ての検証において改善が確認でき、Bi-BERTは通常のBERTよりも脳および人間に近い振る舞いを示すことが示唆された。