[3H2-GS-9b] ヒューマンインタフェース：ユーザ支援

[3H2-GS-9b-02] 深度カメラによる三次元姿勢推定を用いたポーズ変更が可能な人体画スケッチ学習支援システムの構築

〇西田 曉人¹、曽我 真人² (1. 和歌山大学大学院、2. 和歌山大学)

キーワード：学習支援、スキル、スケッチ、人体、Azure Kinect

人体画スケッチ学習支援システムとは，骨格，輪郭線で手本と成果物を比較し，差分やスコアを返すシステムである．従来の仮想空間を用いた人体画スケッチ学習支援システムでは，カメラから得た二次元画像で実人型モデルの姿勢推定し，それに機械学習から推測した深度情報を加えて三次元座標に変換することで仮想人型モデルのポーズ変更を実現していた．そのため，深度情報が推測しづらい場合にはポーズ変更が正しく行えず，学習と直接関係しないフローに時間を費やしていた．本研究では，その問題を解決するために深度カメラのモーションキャプチャにより三次元姿勢推定をし，仮想人型モデルのポーズを変更する手法を提案し，その手法に基づくシステムを構築した．さらに，先行研究では成果物のスコア算出に総当たりによる特徴点マッチングを採用しており，バランスが正しい相似サイズの成果物は評価が低くなるという課題があった．そこで本研究では特徴点マッチングに加え，手本と成果物の外接矩形における横縦比の一致率でスコア算出を改善する．評価実験では，統制群法を用いて実験群と統制群の学習前後のスコアの向上値から有意差検定を行い，システムの有用性を検証した．