DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepSeek 开源支撑其大规模生产服务的推理框架 DeepInfer,本次提供支持 DeepSeek-V4.1-Flash 的离线推理能力。框架支持优化内核、异步调度、确定性采样和结构化输出,可运行于 NVIDIA SM100 GPUs 与华为昇腾 950 NPUs,采用 Apache License 2.0。
DeepSeek 开源支撑其大规模生产服务的推理框架 DeepInfer,本次提供支持 DeepSeek-V4.1-Flash 的离线推理能力。框架支持优化内核、异步调度、确定性采样和结构化输出,可运行于 NVIDIA SM100 GPUs 与华为昇腾 950 NPUs,采用 Apache License 2.0。