基础模型研究院公开 K2 Horizon 360 背后的完整训练技术栈
基础模型研究院发布 K2 Horizon 360,公开了六模型 K2 Horizon 家族背后的完整训练技术栈:380 个检查点、13 万亿预训练 token、训练日志、数据工具以及 xLLM 与 RL360 基础设施,全部采用 Apache 2.0 协议。该合集还引入了稀疏注意力设计 MoVA(对 value 投影做路由)以及扩散式适配器 Uno,据称可让解码加速约 3 倍。为什么重要:这是罕见的、关于大模型家族如何训练的完整公开记录,为研究者提供了审计、调试与研究能力涌现时点的素材。
报道来源
- Alpha Signal2026-10-29 17:00