[2F1-GS-9] ヒューマンインタフェース：エージェント

[2F1-GS-9-01] エージェントの対話の品質向上を目的としたGANによる顔表情生成モデル

〇近藤 新太郎¹、原田 誠一¹、佐久間 拓人¹、加藤 昇平^1,2 (1. 名古屋工業大学　大学院工学研究科、2. 名古屋工業大学　情報科学フロンティア研究院 )

[[オンライン]]

キーワード：対話エージェント、GAN、表情生成、感情表出、リップシンク

我々は，Siriに代表される対話エージェントの人間らしさ向上を目的として，対話内容の感情を反映した読み上げ顔表情動画の生成モデルを研究している．著者らの先行研究では，読み上げ表情の生成に必要なリップシンク表情・感情的顔表情の知識を異なるデータセットから学習することで，人間らしい顔表情を生成可能なモデルを提案した．しかし，入力データとして音素を用いたことや，生成結果のフレームレートが不足していたことから，生成結果が不十分となっている．また，生成結果は顔表情を点群で表した表情点の生成のみで，実表情は生成していない．本稿では，著者らの先行研究で提案したモデルを改良し，入力データに音声を用い，生成結果のフレームレートを向上させることで，生成表情点の品質を向上させる．また，モデルで生成した表情点動画を実画像の顔表情動画生成モデルに入力することで，感情的な発話動画の顔画像を生成する．顔表情動画生成モデルには，Zakharovらの提案する，表情点を入力として任意の顔画像に対し顔表情転移が可能なモデルを用いる．また生成された顔表情動画について感性評価を実施し，先行研究の結果と比較し考察する．