Zyphra AI 推出分层注意力（ZHA）：一条通向真正次二次注意力的路径
Zyphra AI 推出了分层注意力（ZHA），一种树索引稀疏注意力方法，用 40 亿 token 的蒸馏为已冻结的大语言模型做改造。据称它在推理和 256K token 检索基准上可与稠密注意力匹敌。它作为一个效率方向而重要：如果稀疏注意力能在长上下文上匹敌稠密注意力、又不必从头重训模型，长上下文推理的成本就可能大幅下降，不过这些基准说法来自提出方，仍需独立验证。
报道来源
- MarkTechPost2026-11-03 01:09