日均6万亿Token服务背后，商汤大装置如何提升推理效能？
商汤大装置 CTO 宣善明在深圳 CSDI Summit 披露：平台日均 Token 服务量已达 6 万亿，预计 2026 年全年增长 25 倍、四季度达日均 10 万亿。核心思路是 PD 分离（Prefill/Decode 解耦）与异构混合调度，让国产算力承担 Prefill、高阶 GPU 承担 Decode，特定配置下 Token 吞吐量可达基准的 5 倍。文章由商汤科技供稿，数据为厂商口径。
报道来源 · SOURCES
- 量子位 QbitAI2026-10-19 05:22