[3Win5] Poster session 3

[3Win5-49] Automatic Generation of Animal Motion Data using Video Captioning

〇Kotaro Nitani¹, Hirotoshi Taira¹ (1.Osaka Institute of Technololgy)

Keywords:Motion data Generation, Video Captioning, Graph Neural Network

本研究では、動画キャプション生成を用いて、動物が映った動画からモーションデータの自動作成を行う。具体的には、ST-GCNを使用して骨格情報の空間的および時間的特徴を抽出し、VQ-VAEを使用してデータを効率的に圧縮する手法を提案する。このアプローチにより、自然で多様なモーション生成が実現できることを示す。また、多様な動物に対するモーションデータが不足している現状を踏まえ、動物が映っている動画から姿勢推定を行い、姿勢の時間変化をグラフニューラルネットワーク（GNN）を用いて学習することにより動物に直接モーションキャプチャ装置を取り付けることなく、動物特有の複雑な動作パターンを効率的にモデリングできることを示す。