DeepSeek 开源生产推理框架 DeepInfer,披露单集群每日 155T tokens 与单卡每小时 38 美元收入
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并同步发布 deepseek-recipe 处理层,支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出,覆盖 NVIDIA 和华为昇腾平台。
推荐理由:DeepSeek 开源生产推理栈,同时披露单集群吞吐与单卡收入,读者可据此判断缓存型推理的成本结构。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
1 条精选近 30 天 1 条共收录 1 条
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并同步发布 deepseek-recipe 处理层,支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出,覆盖 NVIDIA 和华为昇腾平台。
推荐理由:DeepSeek 开源生产推理栈,同时披露单集群吞吐与单卡收入,读者可据此判断缓存型推理的成本结构。