[4I2-GS-7c] 画像音声メディア処理：音声認識と指示理解

[4I2-GS-7c-04] Target-dependent UNITERに基づく対象物体に関する参照表現を含む物体操作指示理解

〇石川 慎太朗¹、杉浦 孔明¹ (1. 慶應義塾大学)

キーワード：自然言語処理、画像処理、物体操作、参照表現、ロボット

高齢化が進行する現代社会において，在宅介護者の不足が問題となっている．生活支援ロボットはその有望な解であり，スムーズな対話に基づいて生活支援タスクを実行できることが望ましい．しかし，人間の発する命令文には規則が存在せず，しばしば曖昧性が含まれるため、正確な内容の理解は容易ではない．既存研究では，命令文に加え，命令の対象物体を含む全体画像を入力しているが，それだけでは物体間の関係性の学習が難しく，命令文が参照表現を含む場合に対象物体の特定が困難になる．そこで本研究では，対象物体候補の画像・位置情報を扱うように構造を変更した，Target-dependent UNITERモデルを提案する．対象物体候補が対象物体であるか否かに関する分類精度について，標準データセットを使用し，ベースライン手法と比較を行った結果について報告する．