Quảng cáo JD giảm 15% độ trễ suy luận AI nhờ làm lại phía CPUHOT
Mảng quảng cáo của JD cho rằng nút thắt thực sự trong gợi ý quảng cáo tạo sinh nằm ở máy chủ đa dụng, không phải GPU. Phối hợp với nhóm Kunpeng của Huawei, họ gộp bốn tầng bộ nhớ đệm thành hai và xây lại lớp RPC, cắt 15% độ trễ suy luận đầu-cuối trước thềm lễ mua sắm 618.





