[2T6-GS-9] ヒューマンインタフェース

[2T6-GS-9-02] 手首装着型の加速度センサを用いた実時間調理行動認識手法の実現

〇大神 健司¹、飛田 博章¹ (1. 東京都立産業技術大学院大学)

[[オンライン]]

キーワード：行動認識、ヒューマンコンピュータインタラクション、実時間推論

自分でメニューを考え料理する自炊は，好きなものを選びがちな外食に比べ，健康を維持するために効果的である．しかし，料理初心者にはレシピの再現自体が難しく，レシピに記されている調理行動を再現できないため，味や見た目がレシピと大きく異なる結果となる．この課題の解決策として，料理初心者の行動に対し，次の調理工程の指示や，指示と異なる行動をした場合にそれを正すためのフィードバックの実現が重要となる．本研究では，調理者の行動を認識し，適切にフィードバックする仕組みの実現に必要となる，実時間での調理行動認識手法について述べる．提案手法では，実際の調理で両手首にウェアラブル型の加速度センサを装着し，加速度と角速度のデータを取得する．取得したデータに対し，調理行動を 7 クラス（手を洗う，皮を剥く，切る，みじん切りにする，炒める，混ぜる，その他）にラベル付けし，畳み込み LSTM で学習・分類する．バッチ推論で学習済モデルの性能を評価した結果，再現率のマクロ平均が 86.39%であった．また，実際にカレーを調理しながら実時間推論で提案手法の性能を評価した結果，同マクロ平均が 61.32%であった．