用单一算法训练基础模型
卡内基梅隆大学等机构的研究者提出“统一训练”框架，证明预训练、中间训练、监督微调和强化学习等分阶段训练并非本质必需：把强化学习目标推导为对模型生成目标分布的最大似然拟合后，所有阶段都可归入单一基于似然的训练算法，在同一训练器中混合静态数据与强化学习生成数据。实验表明统一训练改善了精度-算力权衡和任务覆盖，并为持续学习提供了更强的起点。这为基础模型训练从“分阶段手艺”走向统一科学提供了框架。
报道来源
- Rohan Paul2026-10-30 21:52
卡内基梅隆大学等机构的研究者提出“统一训练”框架，证明预训练、中间训练、监督微调和强化学习等分阶段训练并非本质必需：把强化学习目标推导为对模型生成目标分布的最大似然拟合后，所有阶段都可归入单一基于似然的训练算法，在同一训练器中混合静态数据与强化学习生成数据。实验表明统一训练改善了精度-算力权衡和任务覆盖，并为持续学习提供了更强的起点。这为基础模型训练从“分阶段手艺”走向统一科学提供了框架。