AI 拿到的“正常”网页响应中，约两成其实并不正常
一项新研究对 10,307 个网址进行了测试，发现静态抓取工具收到的 HTTP 200（成功）响应中约 20.9% 并不包含页面正文，而是空壳页面、验证码墙、拦截页或替代页面。研究指出，这种“假成功”会污染 AI 训练数据并扭曲引用来源判断，而简单的长度、重定向等启发式检查就能识别约 86% 的无效响应。这提醒人们：评估抓取与引用质量时，不能只看状态码是否 200，还要核查实际拿到的内容。
报道来源
- Hacker News (AI)2026-11-04 14:32