Buoyant 发布 Kinference：面向 Kubernetes 与 vLLM 的开源推理控制平台
Buoyant 发布了 Kinference，这是一个面向 Kubernetes 上 vLLM 的 Apache 2.0 推理控制平台，新增声明式路由策略、感知 KV 缓存的负载均衡和按租户计量的指标。在公司自身的基准测试中，它将首个 token 的中位延迟降低了 95%。这之所以重要，是因为推理服务正成为生产级大模型部署的瓶颈，而一个厂商中立的控制平台让团队可以在不被锁定于单一技术栈的情况下调优它。
报道来源
- MarkTechPost2026-11-07 08:16