Slotstream 让 125B 开源模型在 Mac 的 SSD 上跑起来
Slotstream 让 1250 亿参数的混合专家模型从 Apple Silicon 设备的 SSD 上流式运行,使 16 到 64GB 内存的 Mac 能在本地运行一个 105GB 的模型。这件事重要,因为它让普通笔记本电脑无需数据中心 GPU 也能运行大模型推理。
报道来源
- Alpha Signal2026-10-26 12:07
Slotstream 让 1250 亿参数的混合专家模型从 Apple Silicon 设备的 SSD 上流式运行,使 16 到 64GB 内存的 Mac 能在本地运行一个 105GB 的模型。这件事重要,因为它让普通笔记本电脑无需数据中心 GPU 也能运行大模型推理。