静态推理无法证明运行时行为:AI 代码评审员基准测试
Heal 重放了 5 个产品的 236 个拉取请求,对比了运行时测试与 AI 代码评审机器人。结果发现,70% 经证实的用户可见缺陷从未被任何评审机器人发现,而评审机器人仍在运行时路径之外的文件中发现了许多问题。这一结果之所以重要,是因为它表明两者是互补而非替代关系:代码评审看开发者会改什么,运行时测试看用户实际会遇到什么。
报道来源
- Hacker News (AI)2026-10-27 13:14
Heal 重放了 5 个产品的 236 个拉取请求,对比了运行时测试与 AI 代码评审机器人。结果发现,70% 经证实的用户可见缺陷从未被任何评审机器人发现,而评审机器人仍在运行时路径之外的文件中发现了许多问题。这一结果之所以重要,是因为它表明两者是互补而非替代关系:代码评审看开发者会改什么,运行时测试看用户实际会遇到什么。