[1F4-OS-40b] OS-40

[1F4-OS-40b-02] Semantic Extraction of Environmental Information for Multi-Robot Task Planning

〇Kazuma Obata¹, Yuji Onuma¹, Masayoshi Tsuchinaga¹ (1. Toyota Motor Corporation)

Keywords:Robot, Foundation Model, Retrieval-Augmented Generation

基盤モデルの台頭に伴い、大規模言語モデルを複数台ロボットの行動決定に取り入れる研究が広がりつつある。しかし、多くの研究は環境情報が既知であることを前提としているか、ロボットが動的に環境情報を探索して取得することを考慮していない。また、複数のロボットを用いることで広範囲の環境情報を効率的に収集できるが、収集した情報量が膨大になるという課題も存在する。
本研究では、シーングラフとして記述された環境情報をGraphRAGを用いて処理し、semantic searchを適用することで、ロボットへの指示文に関連する環境情報を抽出する手法を提案する。
実験では、提案手法と従来手法による情報抽出の性能を評価する。また、これらの手法を用いた情報抽出の有無によって、ロボットへの指示文に基づくLLMによる行動計画の生成結果を比較した。実験結果から、提案手法はトークン数を最大約40%削減し、環境を抽出することで探索タスクの成功率を向上させることを示した。