听许多人说，分数中心化（score-centering）在业界很流行（例如 Tinker 的 StableReinforce 就在用），所以它成了我的 RLHF 新书的最新一章。

Nathan Lambert 把分数中心化写进了他的 RLHF 新书，指出这项技术在业界已经流行，例如 Tinker 的 StableReinforce 就在使用它。该方法用于纠正强化学习中的训练-推理失配问题，这种漂移会让 RL 训练变得不稳定。业界实验室的采用表明，这一想法正从理论走向生产级 RLHF 实践。

• Nathan Lambert2026-11-05 15:07