把 prefill 和 decode 拆分到不同的芯片上运行，是当前推理领域最靠谱的想法之一。@general_compute 在 GPU 上做 prompt 读取，把逐 token 生成交给 @positron_ai 的内存优先系统，再把两者打包成一个统一端点出售。

General Compute 正在以集群规模部署 Positron AI 的内存优先芯片，把推理拆分到不同芯片上：GPU 负责 prompt 的 prefill，Positron 硬件负责逐 token 的 decode，打包成一个统一端点、同一份合同出售。这个逻辑遵循物理规律——prefill 是并行计算任务，decode 大部分时间在等内存——而 Positron 专门攻克内存瓶颈，且不依赖紧缺的 HBM。这件事之所以重要，是因为决定谁能低成本、大规模服务 AI 的，不只是模型质量，更是推理经济学。

• Rohan Paul2026-10-20 17:04