DeepSeek, kendi sohbet trafiğinin arkasındaki motor DeepInfer'ı açık kaynak yaptı
DeepSeek, üretim ölçeğindeki model hizmetini destekleyen şirket içi çıkarım çerçevesi DeepInfer’ı 20 Ekim’de izin verici Apache 2.0 lisansıyla yayımladı; buna eşlik eden token kodlama ve kod çözme bileşeni deepseek-recipe da dahil. Sürüm şu anda DeepSeek-V4.1-Flash’ı destekliyor.
Çerçeve, yüksek performanslı operatörler ve bir optimizasyon motoru içeriyor; dağıtık çıkarım, spekülatif kod çözme, yapılandırılmış çıktı ve şirketin SWA Bounded Replay adını verdiği bellek tasarrufu tekniğini ekliyor. Hem Nvidia donanımında hem de Huawei’nin Ascend çiplerinde çalışıyor; bu ayrıntı, ithal GPU’lara güvenemeyen Çinli geliştiriciler için önemli.
DeepInfer, DeepSeek’in bir modelini izliyor: şirket model ağırlıklarını, TileLang derleyici araçlarını ve çıkarım operatör kütüphanesini zaten açmıştı. Hizmet katmanını yayımlamak, dışarıdaki mühendislerin şirketin verimlilik kazanımlarını tersine mühendislikle çözmek yerine yeniden üretmelerini sağlıyor ve daha küçük ekiplere büyük modelleri ucuza çalıştırmak için hazır bir yol sunuyor.
Hamle ayrıca rakipler için çıtayı sessizce yükseltiyor. Ölçekte hangi yapay zeka ürünlerinin hayatta kalacağını giderek ham model kalitesi değil, çıkarım maliyeti belirliyor ve DeepSeek maliyet avantajını isteyen herkese teslim ediyor.