蚂蚁集团开源更快 AI 推理：Humming 加速库最高带来 5 倍提升
蚂蚁集团与 vLLM 开源了统一 JIT 内核库 Humming，AI 推理最高加速 5 倍，MoE 端到端吞吐提升 14–43%。大厂出品的开源推理基础设施意义重大：更便宜的推理会直接降低大模型落地成本，对算力紧张的团队尤其有价值。
报道来源 · SOURCES
- Alpha Signal2026-10-21 04:17
蚂蚁集团与 vLLM 开源了统一 JIT 内核库 Humming，AI 推理最高加速 5 倍，MoE 端到端吞吐提升 14–43%。大厂出品的开源推理基础设施意义重大：更便宜的推理会直接降低大模型落地成本，对算力紧张的团队尤其有价值。