Latent Space· Latent Space·· 5 天前精选AI 评分85
DeepSeek 开源生产推理框架 DeepInfer，披露单集群每日 155T tokens 与单卡每小时 38 美元收入
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并同步发布 deepseek-recipe 处理层，支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出，覆盖 NVIDIA 和华为昇腾平台。
推荐理由
DeepSeek 开源生产推理栈，同时披露单集群吞吐与单卡收入，读者可据此判断缓存型推理的成本结构。
来源：Latent Space · latent.space