VocabX 如何通过词表专门化将 SLM 推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中预告了即将发布的 VocabX 论文,介绍其按 token 成本而非出现频次重建领域模型词表的方法。
Dharma-AI 在 Hugging Face 博客中预告了即将发布的 VocabX 论文,介绍其按 token 成本而非出现频次重建领域模型词表的方法。
微软研究院的Xinzhi Zhang与合著者Zhao Song证明了1995年提出的KLS猜想,确认对一大类高维概率分布,最佳平面切割与任意形状最佳切割的效果差距不超过一个与维度无关的固定常数。研究采用人类主导的智能体流程,AI系统探索了100多条候选路径,由研究者评估、剪枝并调整方向,最终借助递归细化方法消除了对维度的依赖。同期另有独立团队给出完整证明,随后还发布了Lean 4形式化验证。
推荐理由:这篇论文证明了一个悬置31年的高维几何猜想,并展示了研究者如何引导AI智能体筛选上百条研究路径。
微软研究院发布零知识虚拟机 Magnetar,可证明用 Rust、Go 或 C 编写的程序执行过程,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与密码学假设三方面同时推进。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,用 522 道题、288 张图和 234 段短视频测试多模态模型的直觉视觉推理,人类 pass@1 为 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
Berkeley Sky Lab 团队把 K-Search 内核搜索框架扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:原文给出注意力与 Mamba 两个内核的实测数据,并拆出翻译层对性能提升的贡献,便于判断跨平台内核迁移的可行边界。
伯克利 AI 研究团队提出 ABBEL 框架,将摘要隔离为自然语言"信念状态"并对其内容进行监督评分。在协作编码基准 CollabBench 上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也显著低于全上下文设置。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型“状态-输入”梯度脆弱等问题。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。