[2G1-OS-21c] 世界モデルと知能

[2G1-OS-21c-05] Transformer Autoencoder による視覚・触覚で共有な身体近傍空間表現の獲得

〇野口 渉¹、飯塚 博幸¹、山本 雅人¹ (1. 北海道大学)

キーワード：空間認識、多感覚統合、深層学習

身体近傍空間は自己身体で到達可能な範囲の空間であり，脳内で視覚や触覚等のマルチモーダルな感覚の統合された表現をもつ．身体近傍空間では個体が環境と近接的で密な相互作用を行い，この相互作用を通して身体近傍空間の表現が獲得されていくと考えられる．本研究では，視覚と触覚および身体姿勢の固有受容感覚の経験を通して，視覚・触覚で共有な身体近傍空間表現を獲得する神経回路網モデルを提案する．提案モデルは，自己注意機構に基づくTransformerにより複数の固有受容感覚および視覚・触覚の観測を統合したのちに，固有受容感覚に対応した視覚・触覚を再構築する．シミュレーション上のロボットのカメラによる視覚とアームによる触覚，および対応するカメラとアーム姿勢の固有受容感覚における学習の結果，モデル内部に身体近傍の空間座標と視覚および触覚の対応を表す空間マップが構成された．とくに，視覚・触覚を出力するモジュールの一部を共有することにより，視覚と触覚で共有な空間マップが構成されることが示された．