英伟达展示 3 种方法加速 DGX Spark 上的 MoE 推理，Ling-3.0-flash 吞吐提升 42.5%
英伟达展示了 3 项叠加优化，可加速单台 DGX Spark 上的混合专家模型推理。在蚂蚁集团 1240 亿参数的 Ling-3.0-flash 上，GSM8K 解码吞吐提升 42.5%，且未发现精度变化，说明小型设备推理调优仍有很大空间。
报道来源
- MarkTechPost2026-11-03 20:28
英伟达展示了 3 项叠加优化，可加速单台 DGX Spark 上的混合专家模型推理。在蚂蚁集团 1240 亿参数的 Ling-3.0-flash 上，GSM8K 解码吞吐提升 42.5%，且未发现精度变化，说明小型设备推理调优仍有很大空间。