英伟达遏制 AI 智能体浪费昂贵内存的计划
英伟达解释了它如何应对 AI 智能体的内存问题：智能体在等待工具返回时不断积累上下文，占用昂贵的 GPU 内存。其方案结合了 NVFP4 量化、Dynamo 的 KV 感知路由以复用缓存前缀、配备就近内存的 Vera CPU 来承接卸载的上下文，以及 CMX 共享闪存。英伟达称，在智能体负载上 Vera Rubin NVL72 的每美元吞吐量比 GB300 NVL72 高出最多 30 倍——这是厂商自报的数据，但更大的结论成立：对智能体服务而言，内存管理如今与原始算力同样重要。
报道来源
- The Neuron2026-11-06 17:30