[1Win4] ポスターセッション1

[1Win4-67] 推論サービングのオーバヘッドを削減するイベント駆動型GPUDirect推論

〇田仲 顕至¹、北村 研人¹、妹尾 和則¹ (1.NTT IOWN イノベーションセンタ)

キーワード：推論サービングシステム、GPUDirect RDMA、DOCA

本研究では、NTTが展開する次世代データセンタインフラストラクチャ（IOWN）において動作するAI駆動型サイバーフィジカルシステムを目指して、DOCA GPUNetIOとCUDA Graphを統合した新たなイベント駆動型ストリーミングGPUコンピューティングシステムを開発した。目的は、低レイテンシオーバーヘッドと低GPU消費電力でのマルチモデル並行実行を実現することである。提案手法では、推論オーバーヘッドを既存技術比で20%削減、スループットを173.2%向上。イベント駆動型推論により、リソース競合なしに最大5つのモデルの推論要求を処理可能であることを実証した。