后训练中的锐化税

为检验“强化学习后训练只是锐化基座模型已有行为”这一假设，作者比较了来自 4 个模型家族的 14 对基座/后训练模型，在 3 个智能体基准上的表现（共 42 组）。他们发现，配备轻量推理框架的预训练模型，在有足够测试时预算的情况下，往往在解覆盖率（pass@K）上超过后训练对应模型，尽管其单次准确率（pass@1）远低得多，因为后训练会把任务推向“总是解决”或“从不解决”两个极端。作者提出了“锐化税”来衡量测试时可扩展性的损失，并提出了一种即插即用的采样器 PTGS，它付出的税更小，同时还能提高单次准确率——这很重要，因为它把后训练框定为一种可衡量的权衡，而非纯粹的收益。

• Rohan Paul2026-10-29 17:14