教小 AI 模型从自己的错误中学习
一篇新的综述论文统一了 on-policy 蒸馏这一分散的研究领域——即让小「学生」模型通过自己生成的样本来学习。它为学生滚动训练循环提出了统一的 f-散度框架和三轴分类体系。为什么重要：统一的框架让不同方法更易于比较，也有助于训练出更擅长从自身错误中学习的小模型。
报道来源
- Alpha Signal2026-10-24 06:04
一篇新的综述论文统一了 on-policy 蒸馏这一分散的研究领域——即让小「学生」模型通过自己生成的样本来学习。它为学生滚动训练循环提出了统一的 f-散度框架和三轴分类体系。为什么重要：统一的框架让不同方法更易于比较，也有助于训练出更擅长从自身错误中学习的小模型。