Google Cloud 发布 llm-d 1.0：面向 TPU 与 GPU 集群的缓存感知路由
谷歌、红帽与 IBM 联合发布了 llm-d 1.0，这是一个面向分布式大模型推理的开源 Kubernetes 原生技术栈。它新增了多租户流量控制、零停机升级，以及横跨 vLLM、SGLang、TPU 与 GPU 的智能体感知、缓存感知路由。这很重要，因为一套开放的 serving 基础设施标准有望大幅降低大规模运行大模型的成本与复杂度。
报道来源 · SOURCES
- MarkTechPost2026-10-21 04:33