Cloudflare 推出新设置：搜索收录和 AI 训练可分别控制

2026 年 9 月 15 日，Cloudflare 宣布推出"Disallow AI Training"新设置，允许网站管理员在继续接受搜索引擎收录的同时，明确拒绝网站内容用于 AI 训练。苹果、谷歌和微软已承诺遵守或将承诺遵守该设置。

解决什么问题

长期以来，网站管理员面临一个困境：谷歌、苹果、微软等公司的爬虫同时用于搜索索引和 AI 训练——这类爬虫被称为"混合用途爬虫"。一旦拒绝 AI 训练，就意味着同时拒绝了搜索索引，可能导致搜索排名下降。网站主无法对两者单独控制。

Cloudflare 的新设置将这两种用途解耦：管理员可以标记"允许搜索但拒绝 AI 训练"，爬虫需在访问时遵守这一声明。

承诺遵守的厂商时间表

• 谷歌：承诺遵守，并将在未来几周推出 Google-Extended 的 URL 层级透明度工具
• 苹果：承诺遵守，并在开发 URL 层级控制工具
• 微软：承诺遵守，计划 2027 年初在 robots.txt 层面支持该设置

Cloudflare 表示，大多数客户无需手动操作：此前在爬虫控制中选择"Block"或"Block on pages with ads"的网站会自动迁移至新的"Disallow AI Training"设置。

下一步：AI 摘要的控制

Cloudflare 还指出，仅控制训练还不够——AI 摘要（AI Summaries）也需要更细粒度的管控。全站的"是/否"开关太生硬，需要允许管理员设定"摘要中可以出现多少内容"，Cloudflare 的目标是在明年初提供统一的控制接口，无须与每家运营商单独协商。

接下来看什么

该设置目前依赖厂商的自愿遵守，没有技术强制执行机制。实际效果取决于参与承诺的爬虫覆盖率，以及未承诺遵守的新兴 AI 公司如何处理。更深层的问题在于：当 AI 训练数据价值持续攀升，robots.txt 这类"君子协议"能否经受住商业利益的长期考验，还是最终需要监管层面的强制约束。