JD Ads, CPU tarafını yeniden düşünerek AI çıkarım gecikmesini %15 azalttı
JD’nin reklam işi, daha fazla GPU satın almak yerine AI sunum yığınının CPU tarafını yeniden inşa ederek uçtan uca çıkarım gecikmesini %15 azalttığını açıkladı. Çalışma, Huawei’nin Kunpeng sunucu ekibiyle yürütüldü ve Çin’in en büyük e-ticaret etkinliklerinden biri olan 618 yarı yıl alışveriş festivali sırasında canlı trafiğin %5’inde test edildi.
Sorun aritmetikti. Üretken öneri modelleri hesaplama talebini yaklaşık bin kat artırırken, reklam ihalelerinin hâlâ yaklaşık 300 milisaniye içinde yanıt vermesi gerekiyor. JD, darboğazın grafik yongalarında değil genel amaçlı hesaplamada olduğu sonucuna vardı. Huawei’nin Lingqu ara bağlantısını kullanan taraflar, dört önbellek seviyesini ikiye sıkıştırıp 300 TB’lık bir paylaşımlı bellek havuzu oluşturdu ve ardından sistemi bir arada tutan uzak yordam çağrılarını yeniden yazdı. Şirket, KV önbelleği ve RPC performansının önemli ölçüde iyileştiğini belirtiyor.
İşbirliği şimdi reklamcılıktan arama ve öneriye yayılıyor; her iki taraf da bir SuperCache katmanı ve AI ajanları için korumalı alan ortamları üzerinde çalışıyor. Çinli platformlar için standart sunuculardan verimlilik sızdırmak, kıt hızlandırıcıları güvence altına almak kadar önemli hale geliyor.
Reklamcılıkta gecikme paradır: daha yavaş bir ihale daha az teklif ve daha ucuz envanter anlamına gelir. Kazanımlar tam trafikte korunursa, yaklaşım benzer bin kat talep eğrisiyle karşılaşan ancak buna uygun GPU bütçesi olmayan diğer platformlar için bir şablon sunuyor.