JD Ads Pangkas Latensi Inferensi AI 15% lewat Perombakan Sisi CPU

Bisnis periklanan JD mengklaim telah memangkas latensi inferensi ujung-ke-ujung sebesar 15% dengan membangun ulang sisi CPU dari tumpukan penyajian AI mereka, alih-alih membeli lebih banyak GPU. Pekerjaan itu dilakukan bersama tim server Kunpeng Huawei dan diuji pada 5% lalu lintas langsung selama festival belanja pertengahan tahun 618, salah satu ajang e-commerce terbesar di Tiongkok.

Masalahnya adalah aritmetika. Model rekomendasi generatif mendorong kebutuhan komputasi naik sekitar seribu kali lipat, sementara lelang iklan tetap harus menjawab dalam sekitar 300 milidetik. JD menyimpulkan bahwa hambatan terletak pada komputasi serbaguna, bukan cip grafis. Menggunakan interkoneksi Lingqu dari Huawei, kedua pihak memadatkan empat tingkat cache menjadi dua dan membangun kumpulan memori bersama berkapasitas 300TB, lalu menulis ulang panggilan prosedur jarak jauh yang merekatkan sistem. Perusahaan menyebut kinerja cache KV dan RPC meningkat signifikan.

Kolaborasi ini kini menyebar dari periklanan ke pencarian dan rekomendasi, dengan kedua pihak menggarap lapisan SuperCache dan lingkungan sandbox untuk agen AI. Bagi platform Tiongkok, mengeksploitasi efisiensi dari server komoditas menjadi sama pentingnya dengan mengamankan akselerator yang langka.

Latensi adalah uang dalam periklanan: lelang yang lebih lambat berarti lebih sedikit tawaran dan inventaris yang lebih murah. Jika perolehan itu bertahan pada lalu lintas penuh, pendekatan ini menawarkan cetak biru bagi platform lain yang menghadapi kurva permintaan seribu kali lipat yang sama tanpa anggaran GPU yang sepadan.