清华 AI 开源 AKV：面向 LLM 智能体的 SGLang 缓存工程服务器
清华研究者发布了 AKV，一款基于 SGLang 的缓存工程服务系统。LLM 智能体不再总结历史，而是丢弃并重新定位 KV 缓存，在 4 项智能体基准上平均降低成本 27.7%。这项工作值得关注，因为长程智能体的瓶颈正是上下文成本，而缓存工程是直接撬动这笔账单的杠杆。
报道来源
- MarkTechPost2026-10-26 07:56
清华研究者发布了 AKV，一款基于 SGLang 的缓存工程服务系统。LLM 智能体不再总结历史，而是丢弃并重新定位 KV 缓存，在 4 项智能体基准上平均降低成本 27.7%。这项工作值得关注，因为长程智能体的瓶颈正是上下文成本，而缓存工程是直接撬动这笔账单的杠杆。