humans& 的 MoE 内核在 Blackwell GPU 上超越 FlashInfer 最优方案 25%

humans& 的工程师为 NVIDIA Blackwell GPU 打造了一个 W4A16 MoE 解码内核：权重保持 4 位 NVFP4、激活值保留 BF16，以最高 25% 的优势超过 FlashInfer 优化过的 W4A4 MegaMoE 路径。在 8 张 B300 上运行 GLM-5.2 的端到端测试中，生成吞吐提升约 10%，每 token 输出时间降低 7%。相关内核已通过 FlashInfer 和 SGLang 的 PR 回馈社区。这值得关注：它证明小团队仍能在工程上超越最知名的推理栈——而且这些技术以开源贡献的形式人人可用。

• Alpha Signal2026-10-23 18:06