[3O5-OS-16c] 世界モデルと知能

[3O5-OS-16c-04] マルチモーダル基盤モデルと緩和対照損失を用いた大規模屋内検索エンジン

〇今井 悠人¹、兼田 寛大¹、是方 諒介¹、杉浦 孔明¹ (1. 慶應義塾大学)

キーワード：ランキング学習

高齢化が進む社会において，労働人口の不足が問題となっている．環境中の物体をユーザ指示に応じて検索可能なモバイルロボットは利便性が高い．本研究では，人間がロボットに実環境中の物体に関する自然言語によるopen-vocabularyな指示を与えた時，対象物体を検索するタスクを扱う．本研究では，画像，対象物体，位置関係，画素4つの粒度を考慮して視覚特徴を得るモジュールおよび屋内環境に存在する冗長な画像に対しても効果的な緩和対照損失を導入する．また，大規模環境内の検索を行うために新たにデータセットを収集・拡張した．環境中の画像，対象物体領域，指示文を含むこれらのデータセットに対し評価を行った結果，提案手法は標準的な評価尺度において，ベースライン手法を有意に上回った．