推荐阅读：循环与深度生长模型——层复用如何影响上下文学习
一篇新论文探讨了层复用对语言模型上下文学习的影响，并将循环模型与深度生长模型和同等深度的稠密模型作了比较。在 30 亿参数规模下，生长模型与循环模型都更能从后段上下文中获益，在各种示例数量下 GSM8K 得分都更高，对未见过的形式语言预测也更准确，并且在受控任务中更早学会上下文学习。之所以重要：这表明共享或生长深度不只是节省参数的技巧，它会改变模型从上下文中学习的方式，机制体现在注意力头上——早期的归纳头会被复制并继承下去。
报道来源
- Elvis Saravia2026-10-25 17:12