DeepSeek 開源 DeepInfer，支撐自家聊天流量的引擎

DeepSeek 於 10 月 20 日以寬鬆的 Apache 2.0 授權條款發布了 DeepInfer，這是支撐其生產規模模型服務的內部推論框架，同時還發布了 deepseek-recipe，一個配套的 token 編碼與解碼組件。此次發布目前支援 DeepSeek-V4.1-Flash。

該框架捆綁了高效能運算子和優化引擎，並增加了分散式推論、推測解碼、結構化輸出以及該公司稱為 SWA Bounded Replay 的節省記憶體技術。它可在 Nvidia 硬體和華為的昇騰晶片上運行，這一細節對於無法依賴進口 GPU 的中國開發者來說至關重要。

DeepInfer 遵循了 DeepSeek 的一貫模式：該公司已經開放了其模型權重、TileLang 編譯器工具和推論算子庫。發布服務層讓外部工程師能夠重現該公司的效率提升，而不是對其進行逆向工程，並為較小的團隊提供了一條現成的低成本運行大型模型的路徑。

此舉也悄然提高了競爭對手的門檻。推論成本，而非原始模型品質，日益決定哪些 AI 產品能夠大規模生存，而 DeepSeek 正將其成本優勢交給任何想要的人。