Kyutai 的 Perturb-Select-Vote 仅用一个偏置向量就超越了 Neural Thickets
Kyutai 研究人员表明，对输出 logits 施加一个随机偏置，就能复现 Neural Thickets 权重扰动带来的大部分收益，同时模型保持完全冻结。它的重要性在于，这提示一些已报告的改进可能来自一个简单得多的机制，从而节省算力并改变这类方法的评估方式。
报道来源
- Alpha Signal2026-10-29 17:59
Kyutai 研究人员表明，对输出 logits 施加一个随机偏置，就能复现 Neural Thickets 权重扰动带来的大部分收益，同时模型保持完全冻结。它的重要性在于，这提示一些已报告的改进可能来自一个简单得多的机制，从而节省算力并改变这类方法的评估方式。