AI 巨头共同支持一种新的拒绝抓取方式
OpenAI、谷歌、微软和 Anthropic 表示，将共同遵守一个统一的 robots.txt 策略标记 __usage_ai-training，网站只需写一行即可同时拒绝这几家公司的 AI 模型训练抓取。该信号来自 Anthropic 的 Kevin Kelley 向 IETF 提交的草案；Anthropic 已开始实施，OpenAI 计划在未来几个月内跟进，谷歌和微软的目标是 2027 年。这之所以重要，是因为出版方目前必须针对每家公司分别设置规则；但该标记全凭自愿遵守，也无法清除已被收集的内容。
报道来源
- Hacker News (AI)2026-10-31 04:49