DeepSeek ने DeepInfer को ओपन-सोर्स किया, जो उसके खुद के चैट ट्रैफ़िक का इंजन है

DeepSeek ने 20 अक्टूबर को अपने उत्पादन-स्तरीय मॉडल सर्विंग को शक्ति देने वाले इन-हाउस इन्फ़रेंस फ़्रेमवर्क DeepInfer को अनुमतिपूर्ण Apache 2.0 लाइसेंस के तहत प्रकाशित किया, साथ में deepseek-recipe, एक सहायक टोकन एन्कोडिंग और डिकोडिंग घटक भी। यह रिलीज़ वर्तमान में DeepSeek-V4.1-Flash का समर्थन करती है।

फ़्रेमवर्क में उच्च-प्रदर्शन ऑपरेटर और एक अनुकूलन इंजन शामिल हैं, और यह वितरित इन्फ़रेंस, स्पेक्युलेटिव डिकोडिंग, संरचित आउटपुट और एक स्मृति-बचत तकनीक जोड़ता है जिसे कंपनी SWA Bounded Replay कहती है। यह Nvidia हार्डवेयर और Huawei के Ascend चिप्स दोनों पर चलता है, एक ऐसा विवरण जो उन चीनी डेवलपर्स के लिए मायने रखता है जो आयातित GPU पर निर्भर नहीं रह सकते।

DeepInfer, DeepSeek के एक पैटर्न का अनुसरण करता है: उसने पहले ही अपने मॉडल वेट, अपने TileLang कंपाइलर टूलिंग और अपनी इन्फ़रेंस ऑपरेटर लाइब्रेरी को खोल दिया है। सर्विंग लेयर को प्रकाशित करने से बाहरी इंजीनियर कंपनी के दक्षता लाभों को रिवर्स-इंजीनियर करने के बजाय पुन: उत्पन्न कर सकते हैं, और छोटी टीमों को बड़े मॉडल सस्ते में चलाने का तैयार रास्ता मिलता है।

यह कदम चुपचाप प्रतिद्वंद्वियों के लिए बार भी ऊंचा करता है। बड़े पैमाने पर कौन से AI उत्पाद टिकेंगे, यह तेजी से कच्चे मॉडल की गुणवत्ता नहीं बल्कि इन्फ़रेंस लागत तय करती है, और DeepSeek अपना लागत लाभ उसे चाहने वाले किसी भी व्यक्ति को सौंप रहा है।