组织与管理 / PRACTICE NOTE
四家 AI 公司认了统一退出信号:你家网站内容被拿去训练,退还是不退
OpenAI、Anthropic、微软、谷歌共同支持 robots.txt 共享退出信号 __usage_ai-training,站长写两行就能一次性退出四家训练。转型中的企业 11 月要做决定:退,保住数据的议价权;不退,换被 AI 引用的流量。
摘要
四家 AI 公司支持 robots.txt 共享退出信号 __usage_ai-training,企业应在 11 月定内容策略:换流量的内容不退、卖钱的数据退,并评估数据授权变现。
- 体裁
- 实践文章
- 适用对象
- 企业高管、市场负责人、法务负责人
- 参考来源
- 3 项 · 详见文末
10 月 30 日，OpenAI、Anthropic、微软、谷歌四家公司共同宣布：支持 robots.txt 里的共享退出信号。站长只需要在 robots.txt 里写两行——User-Agent: __usage_ai-training 加上 Disallow: /——就能一次性告诉四家公司：我家网站内容，不许拿去训练 AI。先说结论：你家网站、公众号文章、产品文档正在被 AI 爬走训练，这件事要在 11 月做决定——退，保住数据的议价权；不退，换来被 AI 引用的流量。没有"等等看"的选项，因为信号只管未来训练，不管已经入库的数据。
这次到底定了什么
| 公司 | 实施进度 |
|---|---|
| Anthropic | 已经开始支持 |
| OpenAI | 未来几个月内实施 |
| 微软 | 目标 2027-02-01 |
| 谷歌 | 目标 2027 年 |
技术底子是 IETF 的 AI Preferences（AIPREF）工作组草案，起草人是 Anthropic 的标准负责人 Kevin Kelley，草案 2026 年 10 月 30 日发布、2027 年 5 月 3 日过期——现在还不是正式标准，是四家先认了。谷歌的 John Mueller 确认：这个 token 会被视为等同于屏蔽 Google-Extended。另外注意：OpenAI 现有的爬虫控制（GPTBot 管训练、OAI-SearchBot 管搜索）继续有效，不会被取代，新信号是多加一层。
退还是不退：两笔账
第一笔账，退了有什么代价。退出的是"训练"，不是"搜索"——理论上不影响谷歌搜索排名。但现实是模糊的：AI 搜索和 AI 训练用的爬虫正在合流，今天退训练，明天会不会影响 AI 搜索里的引用？谷歌说等同于屏蔽 Google-Extended，而 Google-Extended 本来就是管 AI 训练的。这个边界每个公司执行起来可能不一样，实施前先验证。
第二笔账，不退有什么收益。之前有研究统计过：AI 引用一个数字时，第一页 54% 是公司博客。不退出，等于把内容送进训练集，换来的是品牌出现在 AI 答案里的机会。对靠内容获客的公司，这是流量；对靠数据吃饭的公司（比如有独家行业数据库的），这是把核心资产白送人。
翻译成老板的话：这不是技术配置，是商业决策——你的内容是拿来换流量的，还是拿来卖钱的？两类内容，答案不一样。
转型落点：11 月定三件事
第一，定策略：市场部和法务一起，把网站内容分成三类——换流量的（博客、公开文章，不退）、卖钱的（数据产品、研究报告，退）、说不清的（先退，以后再放）。第二，定执行：让技术把 robots.txt 的退出信号加上，两行配置，半天工作量，但先在测试环境验证，别把搜索爬虫也挡了。第三，定议价：如果你的数据真有价值，别只想着"退"，还可以想"卖"——Reddit 一年收谷歌 6000 万美元数据授权费。退出信号给了你说"不"的权利，有了说"不"的权利，才有谈价格的资格。
参考来源
常见问题
退出了会影响谷歌搜索排名吗?
理论上不会:退出的是“训练”,不是“搜索”。但边界是模糊的——AI 搜索和 AI 训练用的爬虫正在合流,谷歌说该信号等同于屏蔽 Google-Extended(本来就是管训练的)。执行细节每家可能不一样,先在测试环境验证。
以前写的 robots 规则还要吗?
要。OpenAI 明确说了现有爬虫控制(GPTBot 管训练、OAI-SearchBot 管搜索)继续有效、不被取代。新信号是多加一层“一次告诉四家”,不是替换。