JD Ads ने CPU पक्ष पर पुनर्विचार करके AI इन्फरेंस लेटेंसी 15% घटाई

JD के विज्ञापन व्यवसाय का कहना है कि उसने अधिक GPU खरीदने के बजाय अपने AI सर्विंग स्टैक के CPU पक्ष का पुनर्निर्माण करके एंड-टू-एंड इन्फरेंस लेटेंसी 15% कम की है। यह काम हुआवेई की कुनपेंग सर्वर टीम के साथ किया गया और चीन के सबसे बड़े ई-कॉमर्स आयोजनों में से एक, 618 मध्य-वर्ष शॉपिंग फ़ेस्टिवल के दौरान लाइव ट्रैफ़िक के 5% पर परखा गया।

समस्या अंकगणित की थी। जनरेटिव सिफ़ारिश मॉडलों ने कंप्यूट की मांग लगभग हज़ार गुना बढ़ा दी, जबकि विज्ञापन नीलामियों को अब भी लगभग 300 मिलीसेकंड में जवाब देना होता है। JD ने निष्कर्ष निकाला कि अड़चन ग्राफ़िक्स चिप में नहीं, सामान्य-उद्देश्य वाली कंप्यूटिंग में है। हुआवेई के लिंगक्व इंटरकनेक्ट का उपयोग करते हुए, दोनों पक्षों ने चार स्तरों के कैश को दो में संपीड़ित किया और 300TB का साझा मेमोरी पूल बनाया, फिर सिस्टम को जोड़ने वाली रिमोट प्रोसीजर कॉल्स को फिर से लिखा। कंपनी का कहना है कि KV कैश और RPC प्रदर्शन में काफ़ी सुधार हुआ है।

यह सहयोग अब विज्ञापन से आगे बढ़कर खोज और सिफ़ारिश में फैल रहा है, दोनों पक्ष एक SuperCache परत और AI एजेंटों के लिए सैंडबॉक्स वाले वातावरण पर काम कर रहे हैं। चीनी प्लेटफ़ॉर्मों के लिए, सामान्य सर्वरों से दक्षता निकालना उतना ही ज़रूरी होता जा रहा है जितना दुर्लभ एक्सेलेरेटर हासिल करना।

विज्ञापन में लेटेंसी पैसा है: धीमी नीलामी का मतलब कम बोलियाँ और सस्ता इन्वेंटरी। अगर ये लाभ पूरे ट्रैफ़िक पर टिके रहते हैं, तो यह तरीका उन अन्य प्लेटफ़ॉर्मों के लिए एक खाका पेश करता है जो बिना मिलते GPU बजट के उसी हज़ार गुना मांग वक्र का सामना कर रहे हैं।