[3G1-OS-24a] 日常生活知識とAI

[3G1-OS-24a-05] Nearest Neighbor Future Captioning: 物体配置タスクにおける衝突リスクに関する説明文生成

〇小松 拓実¹、神原 元就¹、畑中 駿平¹、松尾 榛夏¹、平川 翼²、山下 隆義²、藤吉 弘亘²、杉浦 孔明¹ (1. 慶應義塾大学、2. 中部大学)

キーワード：Nearest Neighbor future captioning、生活支援ロボット、V&L

自然言語を用いてコミュニケーションが可能な生活支援ロボットの実用化は，要支援者にとって有望な解決策となる．特に，事前にタスク実行に伴う危険性を予測し，ユーザーに判断を仰ぐ能力は，安全性及び利便性を高める．しかし，将来のイベントを表す情報を利用できない点で正確な予測は困難である．既存手法におけるRFCMでは，把持物体の画像を入力としていないため，物体に関する表現が不十分である．また，直前の画像の入力を必要とするため衝突予測時には衝突を回避できないという問題点がある．本研究では，衝突予測における注意箇所を可視化したAttention mapを生成するモジュールの追加，k最近傍法によるモデルの表現力の拡張を行う．また，評価指標として，生成文に対する標準的な評価指標であるBLEU4，METEOR，ROUGE-L， CIDEr-D を用いて比較実験を行う。 実験結果より，全ての評価指標において，提案手法がベースライン手法を上回る性能を達成した．