DeepSeek、自社チャットトラフィックを支えるエンジン「DeepInfer」をオープンソース化

DeepSeekは10月20日、本番規模のモデル提供を支える社内推論フレームワーク「DeepInfer」を寛容なApache 2.0ライセンスの下で公開した。併せて、トークンのエンコードとデコードを担うコンパニオンコンポーネント「deepseek-recipe」もリリースした。今回のリリースは現在DeepSeek-V4.1-Flashをサポートしている。

このフレームワークは高性能オペレータと最適化エンジンを同梱し、分散推論、投機的デコーディング、構造化出力、そして同社が「SWA Bounded Replay」と呼ぶメモリ節約技術を追加している。NvidiaのハードウェアとHuaweiのAscendチップの両方で動作する点は、輸入GPUに頼れない中国の開発者にとって重要な詳細だ。

DeepInferはDeepSeekのパターンに沿っている。同社はすでにモデルの重み、TileLangコンパイラツール、推論オペレータライブラリを公開してきた。提供レイヤーを公開することで、外部のエンジニアは同社の効率化の成果をリバースエンジニアリングするのではなく再現でき、小規模チームは大規模モデルを低コストで運用するための既製の道筋を得られる。

この動きは、競合他社のハードルを静かに引き上げてもいる。大規模に生き残るAI製品を決めるのは、モデルの純粋な品質よりも推論コストであることがますます増えており、DeepSeekは自社のコスト優位性を望む者すべてに手渡している。