Goodfire 将 AI 可解释性工具变为训练信号,从源头消除走捷径行为
Goodfire 搭建了一个新框架,利用模型内部表征作为训练信号,从源头消除奖励hack、谄媚与虚假捷径行为。该方法不是事后修补不良输出,而是直指产生这些行为的底层模式。这之所以重要,是因为可解释性工具正从分析走向真正塑造训练过程——如果奏效,模型有望在构造上就更诚实,而非靠事后纠正。
报道来源
- Alpha Signal2026-11-05 17:20
Goodfire 搭建了一个新框架,利用模型内部表征作为训练信号,从源头消除奖励hack、谄媚与虚假捷径行为。该方法不是事后修补不良输出,而是直指产生这些行为的底层模式。这之所以重要,是因为可解释性工具正从分析走向真正塑造训练过程——如果奏效,模型有望在构造上就更诚实,而非靠事后纠正。