[3G1-OS-24a] 日常生活知識とAI

[3G1-OS-24a-01] Learning to Rank Physical Objects: ランキング学習による物理世界検索エンジン

〇兼田 寛大¹、神原 元就¹、杉浦 孔明¹ (1. 慶應義塾大学)

キーワード：ランキング学習、マルチモーダル言語処理、Learning to Rank Physical Objects タスク

生活支援ロボットは在宅介護者の不足などの社会問題に対する解決策として期待されている．そこで，本論文ではhuman-in-the-loop設定において，オープンボキャブラリのユーザ指示文から対象物体を検索する learning-to-rank physical objects (LTRPO) タスクを提案し，また本タスクを扱うMultiRankITを提案する．MultiRankItは，参照表現と対象物体領域との関係をモデル化するCrossmodal Noun Phrase Encoderと，対象物体とその周囲画像との関係をモデル化するCrossmodal Region Feature Encoderを導入している．実験結果より，提案手法は mean reciprocal rank と recall@Kにおいてベースライン手法を上回った．