EXL 解读如何设计可持续演进的 AI 服务框架
EXL 研究人员在 Engineering the Harness 系列中探讨企业 AI 的服务框架设计，涵盖服务架构、内存管理、调度与推理优化如何协同。文章指出生产环境的瓶颈常来自随并发和上下文长度增长的 KV cache 挤占 GPU 显存，应先测量再优化，而非堆叠所有优化技术。企业应围绕工作负载和 SLO 构建可适配模型与硬件变化的架构。
#部署/工程
MIT Technology Review · AIAI 评分2222
Latent SpaceAI 评分2222 Latent Space 对话 Moshi CEO Anekha Sokhal：从能源衍生品交易员到 AI 创始人
Moshi CEO Anekha Sokhal 在 Latent Space 播客中讲述自己从数学、JPMorgan 能源衍生品交易转向创业的经历。她把 Moshi 形容为 Bloomberg、Claude 和 Netflix 的结合体：市场数据、操作界面，以及针对交易员持仓的推荐。她还谈到可信信源、文档抽取、自建还是采购模型，以及 AI 工程师被要求“你就是整个团队”的压力。
MIT Technology Review · AIAI 评分2020 Celonis 首席科学家 Devavrat Shah 谈企业 AI 为何需要上下文感知
Celonis 企业 AI 首席科学家 Devavrat Shah 提出"决策智能"，主张把 AI 接入企业既有流程与数据，让智能体理解每项任务在决策中的角色和业务约束。他指出缺乏运营上下文的智能体会忽略约束、犯下代价高昂的错误并浪费算力。他建议企业从具体业务决策入手，先找出最难环节再测试 AI 能否改进，并以速度与价值增益决定是否扩展。
MIT Technology Review · AIAI 评分2222 AI 推理背后的隐藏存储账单：模型响应后留下了什么
WD 内部测量显示，一段 8 秒 AI 视频返回给用户的是 3.97MB 的 720p 文件，后端却留下超过 500MB 关联数据，是输出文件的 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查显示，近 95% 受访者称过去 12 个月生成式 AI 导致数据量增长，约 61% 增幅达 25% 以上。
MIT Technology Review · AIAI 评分2020 企业 AI 的新经济学：HPE 谈如何衡量 AI 的有效成本
HPE 提出企业 AI 应从"token 或 GPU 小时单价"转向"每个有用产出的有效成本"这一指标，即完成可用工作所需的平台、模型、运维与算力总成本。企业可选择自建栈、按需消费或集成私有 AI 平台三条路径，HPE Private Cloud AI 通过调度、模型选择、GPU 切分和 KV-cache 管理提升利用率，并附 90 天前置工程师服务。
Berkeley AI ResearchAI 评分5050 智能免费之后怎么办？面向智能体、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出，推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1，部分厂商低于 $0.10，中位年降幅约 50x，数据系统需围绕智能体重构。