[2D5-GS-9] Human interface:

[2D5-GS-9-02] Multimodal Style Transfer of Avatar Gestures and Its Impact on User Impressions

Yoshiki Takahashi², Jie Zeng¹, Tatsuya Sakato¹, 〇YUKIKO NAKANO¹ (1. Seikei University, Department of Science and Technology, 2. Seikei University, Graduate School of Science and Technology)

Keywords:Style Transfer, Multimodal, Gesture

メタバース等の仮想空間でのコミュニケーションでは，ユーザは本人の分身となるCGアバターを操作することによって，相手とコミュニケーションを行うことが一般的である．しかし，CGアバターのジェスチャ表現をユーザの操作によって詳細に制御することは容易ではない．CGアバターの動作や言葉によって，相手に与える印象は変化するため，任意の印象を与えるCGアバターのジェスチャ動作を生成可能であれば，効果的なアバターコミュニケーションが実現すると期待される．また，ジェスチャ表現とは発話に伴って出現する．そのため，ジェスチャ時の発話(言語)もCGアバターの印象に影響を与える重要な要素である．従って，言語のスタイルを変換する技術も必要となる．本研究では，モーションスタイル変換と文スタイル変換を組み合わせたマルチモーダルスタイル変換を実装する．そして，マルチモーダルスタイル変換を用いたCGアバターアニメーションによる印象評価実験を実施した結果，モーションスタイル変換のみを適応したアニメーションと，ユーザ印象が異なることが分かった．さらに，特定の印象を与えるスタイルを選択する手法を適応し，その有効性を検証する．