加州大学圣迭戈分校的 BeNice 让循环模型的 AI 内存占用降低 66%
加州大学圣迭戈分校的 BeNice 是一种两阶段训练方法，让循环语言模型在每次循环中复用同一个 KV 缓存，从而把高带宽内存占用最多降低 66%。循环模型是重复使用同一组层而非堆叠新层，省参数，但内存一直是瓶颈。这之所以重要，是因为缓解这一瓶颈后，紧凑的循环结构有望在不付出大模型内存代价的情况下处理更长上下文。
报道来源
- Alpha Signal2026-10-22 17:49
加州大学圣迭戈分校的 BeNice 是一种两阶段训练方法，让循环语言模型在每次循环中复用同一个 KV 缓存，从而把高带宽内存占用最多降低 66%。循环模型是重复使用同一组层而非堆叠新层，省参数，但内存一直是瓶颈。这之所以重要，是因为缓解这一瓶颈后，紧凑的循环结构有望在不付出大模型内存代价的情况下处理更长上下文。