为什么你的 AI 要用这么多 token？
这篇文章解释了为什么聊天应用的 token 账单远超用户实际输入：每一轮对话都会把整个对话历史、系统提示词和工具定义全部重发一次，以至于一句简单的“hi”也可能藏在一个 18,000 token 的请求里。文章还介绍了缓存与压缩机制：缓存内容的价格只是全价的一小部分，但闲置约五分钟后就会失效；而经过压缩的对话只会给模型留下一份简短摘要。重要性在于：这套隐藏机制解释了 API 账单为何常常出乎意料，也解释了长会话的智能体为什么会变慢或遗忘前文细节。
报道来源
- Hacker News (AI)2026-11-04 20:23