Crawlerpeek——检查你的网站放行了哪些 AI 爬虫（命令行工具、MCP）
Crawlerpeek 是一款新的开源工具，可检查 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫能否访问某个网站，并把 robots.txt 的规则与以各爬虫身份实际抓取时的返回结果对照起来。它提供命令行工具、库、MCP 服务器和 GitHub Action 四种形态，还能生成一份放行 AI 爬虫的 robots.txt。之所以重要：出版商在“要在 AI 搜索中可见”与“屏蔽 AI 训练抓取”之间抉择时，这种快速审计能帮他们看清规则与实际情况是否一致，从而做出更明智的选择。
报道来源
- Hacker News (AI)2026-10-25 21:11