摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练
摩尔线程开源了大模型训练基础设施 Megatron-MUSA-Titan，面向其全功能 GPU，聚焦万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。项目称已在万卡级集群的万亿参数 MoE 预训练中持续应用，具备高 MFU 与长稳训练能力，支持 blockwise FP8 训练，并可结合 DeepEP 与 ACE 通信引擎，以及 slime、miles 强化学习框架与 SGLang 样本生成。这不是一次单模型发布，而是一套面向超大 MoE 模型的国产 GPU 开源训练栈，因而值得关注。
报道来源
- IT之家2026-10-28 10:16