Quảng cáo JD giảm 15% độ trễ suy luận AI nhờ làm lại phía CPU

Mảng kinh doanh quảng cáo của JD tuyên bố đã cắt giảm 15% độ trễ suy luận đầu-cuối bằng cách xây lại phía CPU trong ngăn xếp phục vụ AI của mình, thay vì mua thêm GPU. Công việc được thực hiện với nhóm máy chủ Kunpeng của Huawei và thử nghiệm trên 5% lưu lượng trực tiếp trong lễ mua sắm giữa năm 618, một trong những sự kiện thương mại điện tử lớn nhất Trung Quốc.

Vấn đề nằm ở số học. Các mô hình gợi ý tạo sinh đẩy nhu cầu tính toán tăng khoảng một nghìn lần, trong khi đấu giá quảng cáo vẫn phải phản hồi trong khoảng 300 mili giây. JD kết luận nút thắt nằm ở điện toán đa dụng, không phải chip đồ họa. Sử dụng kết nối Lingqu của Huawei, hai bên nén bốn cấp bộ nhớ đệm thành hai và xây dựng một bể bộ nhớ chia sẻ 300TB, rồi viết lại các lệnh gọi thủ tục từ xa gắn kết hệ thống. Công ty cho biết hiệu năng bộ nhớ đệm KV và RPC được cải thiện đáng kể.

Sự hợp tác nay đang lan từ quảng cáo sang tìm kiếm và gợi ý, với hai bên cùng phát triển lớp SuperCache và môi trường sandbox cho tác nhân AI. Với các nền tảng Trung Quốc, khai thác hiệu quả từ máy chủ phổ thông đang trở nên quan trọng không kém việc đảm bảo nguồn tăng tốc khan hiếm.

Độ trễ là tiền trong quảng cáo: một phiên đấu giá chậm hơn đồng nghĩa ít lượt đặt giá hơn và hàng tồn kho rẻ hơn. Nếu mức cải thiện này giữ vững ở toàn bộ lưu lượng, cách tiếp cận sẽ là hình mẫu cho các nền tảng khác đối mặt với đường cầu tăng nghìn lần tương tự mà không có ngân sách GPU tương xứng.