[3Win5] Poster session 3

[3Win5-09] Benchmarking LLM Inference and Training on Android SmartPhones

〇Sanae Muramatsu¹, Akiko Masaki¹, Takeharu Eda¹ (1.NTT)

Keywords:AI, LLM, Edge Device

近年，LLM の進化により利便性が向上する一方，プライバシーへの懸念が高まっている．スマートフォン上でオンデバイス推論や学習を実現すれば，データを端末内に留め，プライバシー侵害のリスクを低減できる．しかし，スマートフォンは計算リソースが限られており，LLM が動作可能かは不明瞭である．本研究では，LiteRT を用いてmobile BERTモデルの推論および学習をAndorid スマホで性能評価した．オンデバイスでの推論と学習に成功し，さらにバッチサイズや演算精度の違いによるスループット，バッテリー効率，電力効率の影響も分析した．一般的に，バッチサイズの増加や演算精度の低下はスループット向上につながるが，スマートフォンのメモリ制約やLLM の規模が小さいため，スループットが低下するなどのスマートフォン環境特有の特性を確認することができた．