跳到正文
10月23日周五
  1. Latent Space78

    AI 为何突然擅长数学证明:从提示序列与分支因子看模型解题方式

    作者分析 OpenAI 与 Anthropic 今年接连给出数学问题证明的原因,认为模型以深度优先方式把每条可行路径推到终点,再用验证器筛掉错误分支。文中用提示序列长度 k 与分支因子 b 解释模型擅长解空间窄的问题,并指出人类直觉在搜索树深且分支多的问题上仍有优势。

    推荐理由:文章用提示序列长度和分支因子解释模型为何擅长数学证明,并指出人类直觉仍占优的问题类型。

  2. MIT Technology Review · AI22

    EXL 解读如何设计可持续演进的 AI 服务框架

    EXL 研究人员在 Engineering the Harness 系列中探讨企业 AI 的服务框架设计,涵盖服务架构、内存管理、调度与推理优化如何协同。文章指出生产环境的瓶颈常来自随并发和上下文长度增长的 KV cache 挤占 GPU 显存,应先测量再优化,而非堆叠所有优化技术。企业应围绕工作负载和 SLO 构建可适配模型与硬件变化的架构。

10月5日周一
5月8日周五
  1. Berkeley AI Research38

    自适应并行推理:高效推理扩展的下一个范式

    伯克利 AI 研究团队综述了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由模型外部设定,未教会模型自适应行为。