十几行 JAX 代码修复了 Softmax 隐藏的、会扼杀梯度的 Bug
一篇新论文指出了 softmax 与交叉熵中两个长期被忽视的浮点 Bug，它们一直在悄悄破坏梯度，并用几行 JAX 代码将其修复。论文的要点是：修复本身很小，却针对的是深度学习最常用操作之一里藏着的失效模式。之所以值得关注，是因为核心组件里一个小小的数值误差，就可能在无数模型训练中悄悄造成退化，一个极简、可验证的修复因此很有价值。
报道来源
- Alpha Signal2026-10-22 17:54
一篇新论文指出了 softmax 与交叉熵中两个长期被忽视的浮点 Bug，它们一直在悄悄破坏梯度，并用几行 JAX 代码将其修复。论文的要点是：修复本身很小，却针对的是深度学习最常用操作之一里藏着的失效模式。之所以值得关注，是因为核心组件里一个小小的数值误差，就可能在无数模型训练中悄悄造成退化，一个极简、可验证的修复因此很有价值。