四大AI巨头统一robots.txt训练退出标准

四大人工智能厂商将支持统一的 robots.txt 协议指令，允许网站站长一次性拒绝其内容被用于生成式 AI 模型训练。这意味着内容发布者将不再需要单独屏蔽各家公司的抓取爬虫。

据 The Verge 报道，谷歌、OpenAI、Anthropic 和微软于周五宣布支持一项提交至互联网工程任务组（IETF）的共享“策略令牌（policy token）”规范。

各家公司的支持进度有所不同。Anthropic 目前已开始支持该指令；OpenAI 承诺在未来几个月内上线；微软计划于 2027 年 2 月 1 日启用；谷歌则计划于 2027 年初跟进。

统一指令的运作机制

该方案由 Anthropic 标准技术负责人 Kevin Kelley 提出。网站管理者只需在 robots.txt 中添加以 __usage_ai-training 为 User-Agent 的配置组，并配合 Disallow 规则即可拒绝训练，同时仍可通过 Allow 规则开放特定路径（例如新闻通稿素材库）供模型训练。

需要注意的是，该指令仅针对 AI 训练用途，并非抓取拦截指令，也不会影响网页在常规搜索引擎中的收录与索引。

OpenAI 声明表示，这是一项“自愿性举措”，新标记“不会取代我们已通过 robots.txt 提供的现有控制项”。谷歌分析师 John Mueller 表示，网站可借此令牌在多家参与的 AI 提供商之间设定统一偏好。如果网站使用该令牌退出且未单独指定 Google-Extended，谷歌将默认将其视作拦截 Google-Extended。

微软细化AI引用权限

微软在协议支持上走得更远。Bing 将针对“AI 训练”与“AI 接地（Grounding，即用于生成 AI 回答的事实检索）”提供独立控制。

微软新增了“受限接地（Limited Grounding）”选项，允许网站内容用于支持微软自家的 AI 产品回答，但拒绝开放给微软的第三方接地服务。微软同时给出了迁移时间表：自 2026 年 12 月 15 日提供临时控制项，至 2027 年 3 月 1 日彻底替换旧版 NoArchive 与 NoCache 标记。Bing 团队强调，这些设置均不影响网站在常规搜索结果中的曝光。

承诺的局限性

这一联合倡议仍存在一定限制：它无法追溯撤回过去的抓取行为，各大厂商已获取的数据不会被清除；它也不会直接阻止爬虫拉取网页内容本身。此外，遵守该规则仍属企业自愿行为。Meta 方面表示支持该理念，但尚未承诺落实该协议。目前该方案仍处于 IETF AI 偏好工作组的草案讨论阶段，尚未成为正式技术标准。