[3T5-OS-6b] 信頼と文脈のインタラクションデザイン

[3T5-OS-6b-04] 大規模言語モデルを用いたSwitching機構付きマルチモーダル検索モデルに基づく生活支援ロボットによる物体操作

〇是方 諒介¹、兼田 寛大¹、長嶋 隼矢¹、今井 悠人¹、杉浦 孔明¹ (1. 慶應義塾大学)

キーワード：生活支援ロボット、実世界検索、大規模言語モデル、マルチモーダル基盤モデル、Fetch-and-Carry

高齢化の進行に伴う在宅介助者不足に対し，被介助者を物理的に支援可能な生活支援ロボットは有望な解決策の一つである．そこで，open-vocabularyなユーザ指示文に基づき，事前に収集された環境の画像群から対象物体および配置目標を検索することで，日常物体を指定された家具へ運搬するタスクを扱う．本論文では，大規模言語モデルを用いて埋め込み空間を切り替えるSwitching機構を導入することにより，単一モデルで対象物体および配置目標を個別に検索可能なマルチモーダル検索モデルを提案する．大規模な屋内環境において収集された実画像および物体操作指示文から構成される新規データセットにおいて評価を行い，提案手法は画像検索設定における標準的な評価指標において既存手法を上回った．さらに，標準化された屋内環境においてユーザから与えられるopen-vocabularyな物体操作指示文に従い生活支援ロボットが日常物体を運搬する実機実験を行い，80%以上のタスク成功率を達成した．