[3Win5] ポスターセッション3

[3Win5-49] 動画キャプション生成を用いた動物モーションデータの自動作成

〇二谷 耕太郎¹、平 博順¹ (1.大阪工業大学大学)

キーワード：モーションデータ生成、キャプション生成、グラフニューラルネットワーク

本研究では、動画キャプション生成を用いて、動物が映った動画からモーションデータの自動作成を行う。具体的には、ST-GCNを使用して骨格情報の空間的および時間的特徴を抽出し、VQ-VAEを使用してデータを効率的に圧縮する手法を提案する。このアプローチにより、自然で多様なモーション生成が実現できることを示す。また、多様な動物に対するモーションデータが不足している現状を踏まえ、動物が映っている動画から姿勢推定を行い、姿勢の時間変化をグラフニューラルネットワーク（GNN）を用いて学習することにより動物に直接モーションキャプチャ装置を取り付けることなく、動物特有の複雑な動作パターンを効率的にモデリングできることを示す。