从 CUDA 到 MLX:K-Search 如何把内核优化经验迁移到 Apple Silicon
Berkeley Sky Lab 团队把 K-Search 内核搜索框架扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:原文给出注意力与 Mamba 两个内核的实测数据,并拆出翻译层对性能提升的贡献,便于判断跨平台内核迁移的可行边界。
Berkeley Sky Lab 团队把 K-Search 内核搜索框架扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:原文给出注意力与 Mamba 两个内核的实测数据,并拆出翻译层对性能提升的贡献,便于判断跨平台内核迁移的可行边界。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10,中位年降幅约 50x,数据系统需围绕智能体重构。