DeepSeek Open-Source DeepInfer, Mesin di Balik Lalu Lintas Chat-nya Sendiri

DeepSeek menerbitkan DeepInfer, kerangka inferensi internal yang menjalankan penyajian model skala produksinya, di bawah lisensi permisif Apache 2.0 pada 20 Oktober, bersama dengan deepseek-recipe, komponen pengkodean dan penguraian token pendamping. Rilis ini saat ini mendukung DeepSeek-V4.1-Flash.

Kerangka ini menggabungkan operator berperforma tinggi dan mesin optimasi, serta menambahkan inferensi terdistribusi, penguraian spekulatif, keluaran terstruktur, dan teknik penghemat memori yang disebut perusahaan SWA Bounded Replay. Ini berjalan pada perangkat keras Nvidia dan chip Ascend milik Huawei, detail yang penting bagi pengembang Tiongkok yang tidak dapat mengandalkan GPU impor.

DeepInfer mengikuti pola DeepSeek: perusahaan telah membuka bobot modelnya, perkakas kompiler TileLang, dan pustaka operator inferensinya. Menerbitkan lapisan penyajian memungkinkan insinyur luar mereproduksi keuntungan efisiensi perusahaan alih-alih merekayasanya secara terbalik, dan memberi tim yang lebih kecil jalur siap pakai untuk menjalankan model besar dengan biaya murah.

Langkah ini juga secara diam-diam menaikkan standar bagi pesaing. Biaya inferensi, bukan kualitas model mentah, semakin menentukan produk AI mana yang bertahan dalam skala besar, dan DeepSeek menyerahkan keunggulan biayanya kepada siapa pun yang menginginkannya.