Cohere 新论文发现，推测解码在细粒度 MoE 模型上即使批量为 1 也效果良好，而此前研究预测其收益有限

Cohere 在 10 个 30B 至 1T 参数的 MoE 模型上测试推测解码发现，相邻 token 共享 20% 至 45% 的专家，而按独立路由预期仅为 4% 至 12%。在 FP8 的 Qwen3-235B 上，验证步骤的速度达到正常解码步骤的 89%，而此前预测仅为 52%。这之所以重要，是因为它推翻了推测解码在批量为 1 的 MoE 推理中收益有限的假设，对低批量智能体负载而言值得实测而非直接排除。

• Rohan Paul2026-11-02 21:18