在 DeepInfra 预发布端点(部署 NVFP4 权重)上测得,Nemotron 3.5 Super VL 的输出速度达到约 630 token/秒(100……)
Nemotron 3.5 Super VL 在 DeepInfra 预发布端点上用 NVFP4 量化达到了约 630 token/秒的输出速度。这一结果显示低精度推理已将大型视觉语言模型的吞吐推到多高。
报道来源 · SOURCES
- Artificial Analysis2026-10-15 15:51
Nemotron 3.5 Super VL 在 DeepInfra 预发布端点上用 NVFP4 量化达到了约 630 token/秒的输出速度。这一结果显示低精度推理已将大型视觉语言模型的吞吐推到多高。