[2G4-OS-21d] 世界モデルと知能

[2G4-OS-21d-01] Switching Head-Tail Funnel UNITERによる対象物体および配置目標に関する指示文理解と物体操作

〇是方 諒介¹、神原 元就¹、吉田 悠¹、石川 慎太朗¹、川崎 陽祐¹、髙橋 正樹¹、杉浦 孔明¹ (1. 慶應義塾大学)

キーワード：マルチモーダル言語理解、Vision & Language、fetch-and-carry、物体操作、生活支援ロボット

本研究では，生活支援ロボットが自然言語指示文に基づいて日用品を家具へ運搬する手法の構築を目的とする．例えば「皿の左側にある黄色いボトルを，上に何も置かれていない椅子まで移動させる」という指示文が与えられたときに，環境中の複数の日用品および家具からボトルおよび椅子を特定し，把持および配置動作を行うことが求められる．既存のマルチモーダル言語理解手法の多くは対象物体候補と配置目標候補に関するすべての組合せについて推論を行うため，計算量の点で非実用的である．本論文では，対象物体および配置目標に関する予測を単一モデルで個別に行う方法でタスクを解くことが可能なSwitching Head-Tail Funnel UNITERを提案する．物体操作指示文および標準的なシミュレータを用いて収集された画像から構成される新規データセットにおいて評価を行い，提案手法がベースライン手法を言語理解精度で上回った．さらに，生活支援ロボットが参照表現を含む指示文に従い標準的な日用品を運搬する実機実験を標準化された家庭環境で行い，物体把持および配置動作をそれぞれ90%以上の成功率で実行可能であることを示した．