[1Win4] Poster session 1

[1Win4-49] Dataset Augmentation Based on Instruction Generation Model for Open-Vocabulary Mobile Manipulation

〇Kei Katsumata¹, Motonari Kambara¹, Daichi Yashima¹, Ryosuke Korekata¹, Komei Sugiura¹ (1. Keio University)

Keywords:Image Captioning, Mobile Manipulation Instruction Generation, Domestic Service Robot

高齢化が進む社会において，自然言語指示文に基づき日常タスクを実行する生活支援ロボットの実用化は介助者不足の解決策の一つとなりうる．一方，自然言語指示文に基づき日常タスクを実行するためのマルチモーダル言語理解モデルは未だ性能が不十分であり，性能向上には高品質な自然言語指示文を含むデータセットを用いた訓練が必要である．よって生活支援ロボットの指示文理解性能向上において自然言語指示文生成は重要である．本研究では2枚の画像に基づき物体操作指示文を生成する手法を提案する．また，生成文により拡張したデータセットを用い，物体操作指示文理解モデルを訓練・評価した．結果として，理解性能が向上したことから，拡張データの有効性を確認した．また，実機実験においても同様に，拡張データが有効であることが検証された．