Show HN：哪些大网站屏蔽 AI 训练爬虫却放行 AI 搜索
Kavel 在 2026 年 10 月检查了 945 个知名网站针对 14 种 AI 爬虫的 robots.txt 规则。结果发现，25.9% 的网站至少屏蔽一种 AI 爬虫，而 9.2% 的网站屏蔽 AI 训练、却对所有 AI 搜索爬虫放行。这种分化之所以重要，是因为它表明许多出版方并非全盘拒绝 AI，而是在“用内容训练”和“在 AI 搜索中露出”之间划了一条线。
报道来源
- Hacker News (AI)2026-10-27 13:18