robots.txt 中的 AI 爬虫：一项针对头部 1 万个网站的研究（2026）
一项针对头部 1 万个网站的研究发现，在既对所有人屏蔽某些路径、又点名了某个 AI 爬虫的 robots.txt 文件中，29.8% 会无意中放该爬虫绕过至少一项屏蔽（1105 个文件中的 329 个），因为按 RFC 9309，针对特定爬虫的规则组会覆盖全局规则。GPTBot 被 14.8% 的可解析网站全站屏蔽（头部 1000 个网站中为 21.6%），而仅有 7.1% 的网站在屏蔽训练爬虫的同时放行全部 9 个问答引擎。这之所以重要，是因为许多站长的 robots.txt 并没有真正执行他们想要的限制，AI 爬虫可能因此进入他们本想关闭的搜索、登录、API 和管理页面。
报道来源
- Hacker News (AI)2026-10-28 12:57