14:00 〜 14:20
[2J3-GS-8b-03] Interactive Instruction FollowingのためのNeuro-Symbolic手法による多様な物体と言語指示への頑健性の向上
キーワード：instruction following、マルチモーダル学習、画像、言語
Instruction Followingとは自然言語で記述された指示を視覚的環境での行動の系列に変換するタスクである．
近年，物体との相互作用を必要とする指示に従う研究を促進するためにInteractive Instruction Followingタスクが提案された．
このタスクにおける既存モデルは多様な物体や言語指示に対して頑健ではないことが本研究によって明らかになった．
これは実応用において深刻な問題につながる可能性がある．
本研究ではニューラルな特徴抽出が画像や言語における小さな摂動に対してかなり敏感であることが原因だと想定した．
そこで本研究ではNeuro-Symbolic手法の導入によってこの問題の解決を目指す．
具体的には物体検知と意味解析を行うモジュールの導入によって記号表現上での推論を可能にする．
本研究ではALFREDデータセットでの実験によって，提案手法は物体との相互作用を必要とするサブタスクにおいて成功率を大幅に向上することを示した．
近年，物体との相互作用を必要とする指示に従う研究を促進するためにInteractive Instruction Followingタスクが提案された．
このタスクにおける既存モデルは多様な物体や言語指示に対して頑健ではないことが本研究によって明らかになった．
これは実応用において深刻な問題につながる可能性がある．
本研究ではニューラルな特徴抽出が画像や言語における小さな摂動に対してかなり敏感であることが原因だと想定した．
そこで本研究ではNeuro-Symbolic手法の導入によってこの問題の解決を目指す．
具体的には物体検知と意味解析を行うモジュールの導入によって記号表現上での推論を可能にする．
本研究ではALFREDデータセットでの実験によって，提案手法は物体との相互作用を必要とするサブタスクにおいて成功率を大幅に向上することを示した．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。