[2D5-OS-18b] 世界モデルと知能 (2)

[2D5-OS-18b-04] 未知語に対応可能な言語と動作の統合表現獲得モデル

〇豊田 みのり¹、森 裕紀¹、鈴木 彼方^1,2、林 良彦¹、尾形 哲也^1,3 (1. 早稲田大学、2. 富士通研究所、3. 産業総合技術研究所)

キーワード：ヒューマンロボットインタラクション、表現獲得、マルチモーダル言語表現、未知語対応、記号接地

本研究では動作とともに学習していない単語 (未知語)を含んだ言語指示も受容可能な言語と動作の統合表現の獲得を目指す．提案モデルは山田ら (2018)の言語と動作の相互変換モデルに基づき，言語用と動作用の2つのRecurrent Autoencoder (RAE)とretrofit Layer (rLayer)と名付けた言語入力を変換する非線形層により構成される．両RAEでは対となる中間表現を近づける学習により統合表現を得るが，ここで言語用RAEの入力として，rLayerにより動作と対応づけて変換した事前学習済み分散表現を用いる．これにより，分散表現をより意味に応じた表現に変換し．未知語の指示への含まれ方に関わらず正しく受容した統合表現による動作生成を可能とする．3単語による言語指示と提示された対象へのロボット動作の，視覚入力に応じた相互変換の評価実験の結果，相互変換の実現とともに，未知語を含んだ指示に対してもその含まれ方に依らない動作生成が可能であることが示唆された．また，変換後の各単語の表現のcos類似度の可視化により，未知語であっても意味に合わせ表現が分離されることが確認できた．