拒绝采样微调只模仿成功的会话。这可能强化模型曾经克服的错误，并丢弃失败会话中的证据…
据帖文，拒绝采样微调只模仿成功的会话，这可能强化模型曾经克服的错误，并丢弃失败会话中的证据。提出的替代做法是模仿成功会话中的有用步骤，同时用经过验证的提示纠正两种会话类型中的错误。这一区别之所以重要，是因为训练数据的筛选方式决定了模型是从错误中学习，还是把错误固化下来。
报道来源
- Perplexity2026-09-22 20:22
据帖文，拒绝采样微调只模仿成功的会话，这可能强化模型曾经克服的错误，并丢弃失败会话中的证据。提出的替代做法是模仿成功会话中的有用步骤，同时用经过验证的提示纠正两种会话类型中的错误。这一区别之所以重要，是因为训练数据的筛选方式决定了模型是从错误中学习，还是把错误固化下来。