京東廣告重構CPU端 將AI推論延遲降低15%

京東廣告業務表示，他們透過重建AI服務架構的CPU端，而非添購更多GPU，已將端到端推論延遲降低15%。這項工作與華為鯤鵬伺服器團隊共同完成，並在618年中購物節期間於5%的實際流量上進行測試；618是中國規模最大的電商活動之一。

問題出在算術上。生成式推薦模型使運算需求暴增約一千倍，而廣告競價仍須在約300毫秒內回應。京東判斷瓶頸在通用運算，而非繪圖晶片。雙方利用華為的靈渠互連技術，將四級快取壓縮為兩級，並建立300TB的共享記憶體池，接著重寫串接整個系統的遠端程序呼叫。該公司表示，KV快取與RPC效能均大幅提升。

這項合作正從廣告擴展到搜尋與推薦，雙方著手開發SuperCache層及供AI代理使用的沙箱環境。對中國平台而言，從通用伺服器榨出效率，已與取得稀缺加速器同等重要。

在廣告業，延遲就是金錢：競價變慢意味著出價減少、庫存變便宜。若這些成效能在全量流量下維持，這套做法將為其他面臨同樣千倍需求曲線、卻沒有相應GPU預算的平台提供範本。