DeepSeek以Apache 2.0开源推理框架DeepInfer,支撑V4.1-Flash
DeepSeek称DeepInfer基于vLLM,含优化计算内核、多芯片分布式处理和更快的文本生成技术;同步发布deepseek-recipe,用于让自托管环境复现官方API的token处理。
AI解读:据The Decoder报道,DeepInfer建立在vLLM之上,采用优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。
DeepSeek表示,未来DeepSeek模型的代码也将以开源形式发布。公司同时发布deepseek-recipe,用于复现官方DeepSeek API的token处理,使自托管部署的行为与官方API一致。
DeepSeek在X上称,目标“是帮助社区降低计算成本、减少能耗,让AI更可负担”。The Decoder的报道同时认为,这一发布给OpenAI、Anthropic等西方提供商带来价格压力,并称在中美AI竞争的背景下,此举也可能有政治动机。后两点属于该媒体的判断,非DeepSeek陈述。
DeepSeek已将内部推理框架DeepInfer以Apache License 2.0开源。据The Decoder报道,DeepInfer是支撑其V4.1-Flash模型大规模快速生成回答的服务软件。
DeepInfer的构成与配套发布
DeepSeek介绍,DeepInfer建立在vLLM之上,包含优化的计算内核、跨多芯片的分布式处理,以及更快的文本生成技术。vLLM是面向大模型推理的开源服务框架。
除推理框架本身,DeepSeek还发布了deepseek-recipe,用于复现官方DeepSeek API的token处理,让自托管环境的行为与官方API保持一致。DeepSeek并表示,未来DeepSeek模型的代码也将以开源形式发布。
- 开源对象:DeepSeek内部推理框架DeepInfer
- 许可证:Apache License 2.0
- 技术基础:vLLM,加上优化计算内核、多芯片分布式处理和更快的文本生成技术
- 配套发布:deepseek-recipe,复现官方API的token处理
- 后续承诺:未来DeepSeek模型代码也将开源
DeepSeek的说法与媒体判断
DeepSeek在X上表示,开源的目标是“帮助社区降低计算成本、减少能耗,让AI更可负担”。这是公司自述的目标,来源未给出成本或能耗下降的具体数据。
The Decoder的报道称,DeepSeek模型本已价格很低,DeepInfer补上了更便宜地运行这些模型的最后一环;报道同时认为,此次发布给OpenAI、Anthropic等西方提供商增加了价格压力,并称鉴于中美AI竞赛,此举也可能带有政治动机。这些属于该媒体的分析与推测。