AI 训练的各个阶段可以合而为一：卡内基梅隆大学的新论文表明，预训练、微调和强化学习可以共用同一条训练规则
卡内基梅隆大学的研究人员把一种名为 MaxRL 的强化学习形式重新表述为基于模型自身正确答案的似然训练，让同一个训练器可以按任意比例混合预训练文本、精选数据和强化学习样本。小规模测试中，混合训练在推理谜题上优于分阶段训练，且能更好地保留通用技能。如果这一方法可以扩展，训练管线可能变成数据混合排程，而非僵化的阶段序列。
报道来源
- Rohan Paul2026-10-30 21:52
卡内基梅隆大学的研究人员把一种名为 MaxRL 的强化学习形式重新表述为基于模型自身正确答案的似然训练，让同一个训练器可以按任意比例混合预训练文本、精选数据和强化学习样本。小规模测试中，混合训练在推理谜题上优于分阶段训练，且能更好地保留通用技能。如果这一方法可以扩展，训练管线可能变成数据混合排程，而非僵化的阶段序列。