Meta 与 MIT 新论文发现：循环复用 Transformer 层可胜过普通模型
Meta 与 MIT 的新论文发现，把 Transformer 的层循环复用、同一组层跑多次，可以在同等规模下胜过普通模型，即不增加参数也能获得更深的深度，但每轮循环通常会给每个 token 带来串行计算成本。团队训练了最高 10 亿参数、在最多 1550 亿 token 上的稠密模型，发现全栈循环在固定规模下质量最好、循环中间层性价比最高，并加入了每轮微小的适配器、修复了并行循环方法，使循环可以在解码时并行进行。之所以重要，是因为它提供了一条更便宜地加深模型的路线，前提是并行解码的修复在大规模下依然成立。
报道来源
- Rohan Paul2026-11-02 11:53