斯坦福与加州大学伯克利的研究人员推出 TokenGate：门控注意力让长上下文预填充最快提升 11.3 倍
斯坦福与加州大学伯克利的研究人员发布了 TokenGate，这是一个可直接接入的、可学习的 token 剪枝模块，面向大语言模型。它把长上下文预填充的首 token 延迟降低了 1.4 至 11.3 倍，峰值内存降低了 1.5 至 3.4 倍，且没有精度损失。为什么重要：更便宜、更快的长上下文推理，可能让超长输入在更多产品里变得切实可用，而无需新硬件。
报道来源
- MarkTechPost2026-10-25 12:12