跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

6 条精选近 30 天 6 条共收录 33 条

更新

数据与训练的精选

10月23日周五第 1–6 条
  1. Hugging Face Blog60

    微软与 Hugging Face 用 ThinkingBox 数据库校验做 RL 奖励,Qwen3.8-27B 稳定通过任务从 38 增至 107

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验当作 RL 奖励,对 Qwen3.8-27B 做 50 步 GRPO 全参数微调。

    推荐理由:微软与 Hugging Face 把数据库终态校验改造成 RL 奖励,并公开了任务筛选与训练栈,可看可复用的训练数据策展方法。

10月22日周四
  1. Hugging Face Blog78

    NVIDIA 发布 Kumo Relational 关系型基础模型,无需训练即可预测

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做预测,无需任务特定训练、特征工程或表展平。

    推荐理由:原文给出预训练关系型基础模型在 41 项任务上的对比结果与开源入口,可据此判断免训练预测在现有数据库流程中的位置。

10月17日周六
  1. Google Research64

    Google Research 介绍让 AI 智能体落地湿实验室的三项研究

    Google Research 发布博客,介绍让 AI 智能体从计算设计走向真实湿实验室实验的三项研究:VERID 实验室语义数字孪生框架、适配体闭环设计原型和 FAP 靶点 de novo 蛋白结合体设计。

    推荐理由:Google Research 用三个项目展示智能体如何接入湿实验室的物理状态与闭环实验反馈,读者可了解自动化实验的关键工程环节。

10月15日周四
  1. Mistral AI71

    Mistral 发布时间序列基础模型 Timestral,209M 参数版本登顶三项基准

    Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸。其中 209M 版本在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上均排名第一,参数量约为此前最优模型的三分之二,结果已提交至 GIFT-Eval 和 TIME 榜单。

    推荐理由:原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟,便于判断时间序列基础模型的选型边界。

10月8日周四
  1. Microsoft Research71

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量智能体强化学习框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的智能体 harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源了约 3500 行的智能体强化学习框架,并给出用约 6000 条样本训练编码智能体的完整流程与提升数据。