DeepSeek, 자사 채팅 트래픽을 뒷받침하는 엔진 'DeepInfer' 오픈소스 공개

DeepSeek는 10월 20일, 프로덕션 규모의 모델 서빙을 지원하는 사내 추론 프레임워크 ‘DeepInfer’를 허용적인 Apache 2.0 라이선스로 공개했으며, 토큰 인코딩 및 디코딩 구성 요소인 ‘deepseek-recipe’도 함께 발표했다. 이번 릴리스는 현재 DeepSeek-V4.1-Flash를 지원한다.

이 프레임워크는 고성능 연산자와 최적화 엔진을 묶음으로 제공하며, 분산 추론, 추측 디코딩, 구조화된 출력, 그리고 회사가 ‘SWA Bounded Replay’라고 부르는 메모리 절약 기법을 추가한다. Nvidia 하드웨어와 Huawei의 Ascend 칩 모두에서 작동한다는 점은 수입 GPU에 의존할 수 없는 중국 개발자들에게 중요한 세부 사항이다.

DeepInfer는 DeepSeek의 패턴을 따른다. 회사는 이미 모델 가중치, TileLang 컴파일러 도구, 추론 연산자 라이브러리를 공개해 왔다. 서빙 계층을 공개함으로써 외부 엔지니어는 회사의 효율성 개선을 역설계하는 대신 재현할 수 있고, 소규모 팀은 대규모 모델을 저렴하게 운영할 수 있는 기성 경로를 얻는다.

이번 조치는 경쟁사들의 기준을 조용히 높이기도 한다. 규모에서 살아남는 AI 제품을 결정하는 것은 순수한 모델 품질보다 추론 비용인 경우가 늘고 있으며, DeepSeek는 자사의 비용 우위를 원하는 누구에게나 넘겨주고 있다.