[3I4-GS-7a] 画像音声メディア処理：基礎

[3I4-GS-7a-02] 物体検出におけるエッジ環境での推論高速化と精度向上

〇小西 祥之¹、国宗 大介¹、西田 芳隆¹ (1. ミラクシア エッジテクノロジー株式会社)

キーワード：物体検出、エッジAI、推論高速化、量子化、TensorFlowLite

近年、AI市場の中で、リアルタイム性やデータの機密性の観点からエッジAI分野の需要が拡大している。エッジAIの実用化においては、組み込み機器における処理性能やメモリサイズの制約があるため、処理高速化や省メモリ化の対応が急務となる。本稿では、OSSのTensorFlowおよびTensorFlow Liteを使用し、量子化の手法を適用することで高速化と省メモリ化を実現することを考える。次々に新しいAIモデルが考案されている現状において、TensorFlowおよびTensorFlow Liteの量子化が全てのオペレーションに対応されることは考えにくく、使用するAIモデルによっては、量子化未対応のオペレーションを含むことによる処理速度と精度の低下が課題となる。本稿では、そのような課題が発生した物体検出モデルのYOLOv3-tinyを事例に、処理速度と精度の改善手法を提案する。また、独自にさらなる性能改善を行うことにより、最終的な改善結果としては、RaspberryPi3ModelB+上で推論処理時間の2倍高速化、および推論精度については量子化前と同等の精度までの向上が実現できた。