deepseek上下文压缩会出现周期性的检索弱点
论坛帖子引用的论文指出，DeepSeek-V4 采用的分块 KV Cache 压缩可能导致周期性的检索弱点：由于 Token 按固定窗口压缩，同一条信息落在窗口的第 1、2、3 或第 4 个位置时，压缩时的条件可能不同，从而被压缩成不同的结果。Seed 团队的分析认为，这种窗口位置效应可能是模型出现“神鬼二象性”不一致行为的原因之一。这一发现之所以重要，是因为它指向长上下文失效的一个结构性、可复现的原因，而非随机幻觉，有助于指导 KV Cache 设计的修复。
报道来源
- LinuxDo2026-10-29 02:55