网站不想被AI拿去训练？robots.txt统一开关来了

先说结论：以后一行设置，就能对多家AI说"别拿我训练"

2026年10月30日，OpenAI 和谷歌同一天宣布：将支持一个写在 robots.txt 里的"共享AI训练开关"。网站主只要用这个统一信号表个态，参与的多家AI公司都会照着办，不用再一家一家去写规则。

这件事听上去很技术，其实跟每个写博客、开网店、做公众号同步站的人都有关系。下面用大白话讲清楚。

robots.txt 是什么？——网站门口的"告示牌"

把你的网站想象成一家店。robots.txt 就是贴在店门口的一张告示牌，写给那些自动来"逛店"的程序（叫爬虫）看的：

• 哪些房间可以进（允许抓取）
• 哪些房间别进（禁止抓取）

搜索引擎的爬虫来了，会先看这张牌子。它不是锁，而是"君子协定"：守规矩的爬虫会照做。

以前的麻烦：每家AI都要单独打招呼

AI 公司训练大模型，需要大量网页文字。过去，网站主想说"我的内容别拿去训练"，得认识每家公司的"专用名字"，分别写：

• OpenAI 的爬虫叫 GPTBot，要单独写一条；
• 谷歌从 2023 年起提供 Google-Extended，要再写一条；
• 再来一家新公司，又得查它叫什么、再加一条。

这就像店门口要用十几种语言各写一遍"闲人免进"，还总担心漏掉一种。

这次的新办法：一张"通用告示"

新方案来自国际互联网工程任务组（IETF）的 AI 偏好工作组（AIPREF）。核心思路很简单：

1. 在 robots.txt 里放一个行业通用的"策略标记"；
2. 你用它说"不允许用于AI训练"；
3. 所有参与的 AI 公司都按这一个信号执行。

谷歌在官方博客里说明：如果网站用这个通用标记拒绝训练，而且没有单独写 Google-Extended，谷歌会当作你拒绝了 Google-Extended。反过来，你仍然可以"总的拒绝 + 单独放行某一家"，灵活组合。

OpenAI 也表示会尊重这个信号，原来的 GPTBot 等控制方式继续有效，不会被取代。

什么时候能用？要等一等

注意时间点，别急着改：

• 谷歌说目标是在 2027 年和其他 AI 公司一起支持这个开关；
• OpenAI 说会在接下来几个月实现，届时再公布细节；
• 具体的标记写法还在 IETF 标准化讨论中，以官方最终文档为准。

所以眼下最稳的做法，仍是继续使用各家已有的专用规则。

普通站长现在可以做什么？

第一步：看看自己的 robots.txt。 在浏览器输入"你的域名/robots.txt"，就能看到当前规则。

第二步：想清楚自己的立场。 拒绝训练能保护原创内容，但也要知道：谷歌提到，明确允许 Google-Extended 的网站，才有资格在 Gemini 应用的回答里被引用并获得点击。也就是说，"拒绝"可能少一些 AI 渠道的曝光，这是个取舍。

第三步：先用已有规则表态。 比如不想让 OpenAI 训练，可以写：

User-agent: GPTBot
Disallow: /

不想被谷歌用于训练 Gemini，可以写：

User-agent: Google-Extended
Disallow: /

第四步：关注标准进展。 等通用标记正式上线，再把多条规则合并成一条，省心省事。

国内站长需要注意什么？

这次宣布的是 OpenAI、谷歌等参与 IETF 讨论的公司，公告里没有提到国内大模型厂商是否跟进。国内站长如果在意内容被训练，目前仍需要分别查看各家爬虫的说明，单独设置。

另外记住：robots.txt 只是"告示牌"，不是"防盗门"。不守规矩的爬虫照样能抓。真正重要的内容，可以配合登录可见、版权声明等方式一起保护。

一句话总结

以前对每家 AI 都得单独说"不"，以后有望一句话说给所有人听。标准还在路上，但现在就可以先检查自己的 robots.txt，想清楚：你是想多被 AI 引用，还是更想守住原创？