إعلانات JD تخفض زمن استدلال الذكاء الاصطناعي بنسبة 15% عبر إعادة التفكير في جانب المعالجات

تقول أعمال الإعلانات في JD إنها خفضت زمن الاستدلال الشامل بنسبة 15% عبر إعادة بناء الجانب المعالجي من حزمة خدمة الذكاء الاصطناعي لديها، بدلاً من شراء المزيد من وحدات معالجة الرسومات. وقد أُنجز العمل بالتعاون مع فريق خوادم Kunpeng من هواوي واختُبر على 5% من حركة المرور الحية خلال مهرجان التسوق النصف سنوي 618، أحد أكبر أحداث التجارة الإلكترونية في الصين.

كانت المشكلة حسابية. فقد رفعت نماذج التوصية التوليدية الطلب على الحوسبة بنحو ألف ضعف، بينما لا يزال يتعين على مزادات الإعلانات الرد خلال نحو 300 ميلي ثانية. وخلصت JD إلى أن عنق الزجاجة يكمن في الحوسبة العامة وليس في شرائح الرسومات. وباستخدام ربط Lingqu من هواوي، ضغط الجانبان أربعة مستويات من التخزين المؤقت إلى مستويين وبنيا مجموعة ذاكرة مشتركة بسعة 300 تيرابايت، ثم أعادا كتابة استدعاءات الإجراءات البعيدة التي تربط النظام ببعضه. وتقول الشركة إن أداء التخزين المؤقت KV وRPC تحسن بشكل كبير.

يتوسع التعاون الآن من الإعلانات إلى البحث والتوصيات، حيث يعمل الجانبان على طبقة SuperCache وبيئات معزولة لوكلاء الذكاء الاصطناعي. وبالنسبة للمنصات الصينية، أصبح استخلاص الكفاءة من الخوادم العادية بنفس أهمية تأمين المسرعات النادرة.

زمن الاستجابة هو مال في الإعلانات: المزاد الأبطأ يعني عروضاً أقل ومخزوناً أرخص. وإذا استمرت المكاسب عند حركة المرور الكاملة، فإن النهج يقدم نموذجاً لمنصات أخرى تواجه نفس منحنى الطلب الألف ضعف دون ميزانية معالجات مطابقة.