检查你的 robots.txt 是否屏蔽了 AI 爬虫——免费工具
一款免费工具可帮助网站主检查 robots.txt 是否屏蔽了 OpenAI、Anthropic、Google 等公司的 AI 爬虫。之所以重要：出版商在“屏蔽 AI 抓取”与“保持在 AI 搜索中的可见度”之间权衡时，这类快速审计工具降低了做出明智选择的门槛。
报道来源 · SOURCES
- Hacker News (AI)2026-10-19 16:08
一款免费工具可帮助网站主检查 robots.txt 是否屏蔽了 OpenAI、Anthropic、Google 等公司的 AI 爬虫。之所以重要：出版商在“屏蔽 AI 抓取”与“保持在 AI 搜索中的可见度”之间权衡时，这类快速审计工具降低了做出明智选择的门槛。