屏蔽训练、保留答案？13,938 家网站对 AI 爬虫的要求
一项针对 13,938 家网站 robots.txt 文件的研究发现，训练爬虫被屏蔽的频率约为答案爬虫的三倍：在按名称屏蔽 OpenAI 训练爬虫 GPTBot 的网站中，只有 17.1% 同时屏蔽其搜索爬虫 OAI-SearchBot。差距很大程度上来自 Cloudflare 的托管 robots.txt，它屏蔽训练爬虫但未列出任何答案爬虫；而在自行编写规则的网站中，31.3% 同时屏蔽搜索爬虫，47.0% 屏蔽 ChatGPT-User。这一发现之所以重要，是因为希望退出训练、但仍想被 AI 回答引用的网站，必须按名称逐一检查答案爬虫，不能默认一次设置就能兼顾两者。
报道来源
- Hacker News (AI)2026-11-04 13:16