转推 Thomas Wolf：当今最好的 20 个开源模型中有 18 个是混合专家模型（MoE），稠密模型基本已经过时。然而，训练出优秀 MoE 的诀窍仍只掌握在少数团队手中……
Hugging Face 发布了《终极 MoE 训练手册》，这是一份免费开放的指南，基于其团队自己 800,000 个 GPU 小时的实验写成，约 7 万字，含 55 张交互图。它覆盖了训练团队实际会遇到的问题，包括专家数量、如何隐藏 all-to-all 通信开销、路由器选择、DeepSeek 式无损偏置，以及从稠密检查点升维还是从头训练。之所以重要，是因为当今最好的 20 个开源模型中有 18 个是 MoE，但训练好 MoE 的诀窍仍只掌握在少数团队手中，而这份手册把这些来之不易的经验公开了出来。
报道来源
- Hugging Face2026-11-05 19:57