KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

岩山科技旗下岩芯矩阵联合港科大、CMU 等高校开源了 EdgeRock-4B。256K 上下文下其 KV Cache 固定在 72 MiB，比源模型减少 99.1%；单张 80GB 显卡可同时跑 512 路长推理，输出吞吐达 12124 tokens/s，是源模型的 6.42 倍，同时保留了 Qwen3.5-4B 平均 AIME 通过率的 96.3%。为什么重要：每请求固定内存有望大幅降低长上下文推理成本，让长时间运行的智能体与端侧部署更可行。

• 量子位 QbitAI2026-10-26 06:45