一致性不等于有效性：自我奖励的道德论证让语言模型更果断却也更易被左右
该论文从一个最先进的语言模型出发，在掩蔽思考的自我评审锦标赛中训练了一个强化学习策略，以奖励论证质量，道德困境取自经典小说并用逻辑求解器验证其构成冲突。在外部基准 MoralChoice、ELEPHANT 和 MORABLES 上，该策略变得更加果断，且对选项顺序不再敏感，但谄媚和重构问题仍损害其有效性。这很重要，因为它表明，顺序下的一致性可以被优化，而不必改善它本应标志的道德判断——一致性不等于有效性。
报道来源
- Rohan Paul2026-10-29 16:23