JD広告、CPU側の見直しでAI推論レイテンシを15%削減

JDの広告事業は、GPUを増やすのではなく、AIサービングスタックのCPU側を再構築することで、エンドツーエンドの推論レイテンシを15%削減したと発表した。この取り組みはHuaweiのKunpengサーバーチームと共同で行われ、中国最大級のECイベントである618中間商戦において、ライブトラフィックの5%でテストされた。

問題は算術にあった。生成レコメンドモデルにより計算需要は約1000倍に膨らんだが、広告オークションは依然として約300ミリ秒以内に応答する必要がある。JDはボトルネックがグラフィックスチップではなく汎用コンピューティングにあると結論付けた。HuaweiのLingquインターコネクトを使用し、両社は4段階のキャッシュを2段階に圧縮して300TBの共有メモリプールを構築し、システムを繋ぐリモートプロシージャコールを書き換えた。同社によると、KVキャッシュとRPCのパフォーマンスは大幅に向上した。

この協業は現在、広告から検索・レコメンドへと広がっており、両社はSuperCacheレイヤーとAIエージェント向けサンドボックス環境に取り組んでいる。中国のプラットフォームにとって、汎用サーバーから効率を引き出すことは、希少なアクセラレータを確保することと同じくらい重要になっている。

広告においてレイテンシは金銭だ。オークションが遅くなれば入札が減り、在庫は安くなる。この改善が全トラフィックで維持されれば、同じ1000倍の需要曲線に直面しながらGPU予算が追いつかない他のプラットフォームにとって、このアプローチはテンプレートとなるだろう。