[3Win5] ポスターセッション3

[3Win5-09] Androidスマホ上でのLLMの推論・学習の性能評価

〇村松 沙那恵¹、正木 晶子¹、江田 毅晴¹ (1.日本電信電話株式会社)

キーワード：人工知能、LLM、エッジ端末

近年，LLM の進化により利便性が向上する一方，プライバシーへの懸念が高まっている．スマートフォン上でオンデバイス推論や学習を実現すれば，データを端末内に留め，プライバシー侵害のリスクを低減できる．しかし，スマートフォンは計算リソースが限られており，LLM が動作可能かは不明瞭である．本研究では，LiteRT を用いてmobile BERTモデルの推論および学習をAndorid スマホで性能評価した．オンデバイスでの推論と学習に成功し，さらにバッチサイズや演算精度の違いによるスループット，バッテリー効率，電力効率の影響も分析した．一般的に，バッチサイズの増加や演算精度の低下はスループット向上につながるが，スマートフォンのメモリ制約やLLM の規模が小さいため，スループットが低下するなどのスマートフォン環境特有の特性を確認することができた．