[1Q3-GS-11] ロボットと実世界: マルチモーダル情報

[1Q3-GS-11-05] Multimodal Attention Branch Networkに基づく把持命令文の生成

〇小椋 忠志¹、Magassouba Aly¹、杉浦 孔明¹、平川 翼²、山下 隆義²、藤吉 弘亘²、河井 恒¹ (1. 国立研究開発法人情報通信研究機構、2. 中部大学)

キーワード：マルチモーダル言語生成、生活支援ロボット

生活支援ロボットは，在宅介護労働者の不足に対する有望な解決策である．
一方で，生活支援ロボットの主な制限の1つに，言語を介して自然に相互作用できない点がある．
近年の研究では，data-drivenのアプローチがあいまいな指示の処理に有効であることが示されているものの，大規模なデータセットを必要とすることが多く，その構築は時間と費用を要する．
したがって，生活支援ロボットにおける命令文の自動生成手法は，このコストを大幅に削減し，アノテーション作業の負担を軽減することが期待できる．
そこで本稿では，入力画像から把持命令文を生成する手法を提案する．
提案手法は，subword-levelの注意機構を持ち，subword embeddingに基づいて文を生成するMultimodal Attention Branchを有する．
実験では，画像キャプショニングに適した4つの標準的な尺度を使用して提案手法とベースライン手法との比較を行った．
実験結果では，提案手法がこれらの尺度においてベースライン手法を上回ることを示した．