Salesforce 新论文发现：用大型外部教师模型蒸馏通常比直接强化学习更耗算力，而合并经强化学习训练的领域专家模型可节省 42%。
Salesforce 研究者以每单位训练算力对应的留出集准确率为标准，比较了在线蒸馏与 GRPO，变量包括任务难度、模型规模、领域与训练设置。当教师模型是已完成训练的外部模型时，GRPO 总体胜出，因为每个训练 token 都还需要一次教师模型的前向计算——而合并经强化学习训练的领域专家模型可节省 42%。这一结果值得注意，因为蒸馏常被视为打造小型强模型的廉价捷径，而它表明直接强化学习可能是更高效的路径。
报道来源
- Rohan Paul2026-11-08 00:17