Meta 爬虫疯狂涌入，一艺术家网站被挤爆
儿童绘本作家、插画师切尔西·保卢斯向 Business Insider 表示，Meta 爬虫给她的网站带来了 55 万余次访问，耗尽了主机资源。她说，Meta External Agent 的请求每秒涌入好几次，后来 Meta Web Indexer 又把资源占用拉满，尽管她已修改 robots.txt 并配置防火墙。这一事件之所以重要，是因为它表明 AI 训练与搜索抓取可能压垮那些缺乏快速屏蔽爬虫工具的小型网站主。
报道来源
- IT之家2026-11-03 11:29