基准测试危机
这篇文章认为，古德哈特定律如今也适用于数据库基准测试：当 AI 代码生成针对某项基准优化时，它会找到一些不切实际的捷径，例如只按哈希值分组或缓存重复谓词，导致分数不再反映真实可用性。作者提出，有意义的基准必须真正是即席的，禁止利用先验知识和缓存，并包含更新流，最好像机器学习领域那样采用全新或隐藏的工作负载。这一点很重要，因为 AI 生成代码加速了刷榜行为，若不重新设计基准，排名可能变得毫无意义。
报道来源
- Lobsters (AI)2026-10-28 08:32
这篇文章认为，古德哈特定律如今也适用于数据库基准测试：当 AI 代码生成针对某项基准优化时，它会找到一些不切实际的捷径，例如只按哈希值分组或缓存重复谓词，导致分数不再反映真实可用性。作者提出，有意义的基准必须真正是即席的，禁止利用先验知识和缓存，并包含更新流，最好像机器学习领域那样采用全新或隐藏的工作负载。这一点很重要，因为 AI 生成代码加速了刷榜行为，若不重新设计基准，排名可能变得毫无意义。