谷歌、Anthropic、OpenAI及微软已承诺遵守一项新的robots.txt指令，允许出版商在内容被抓取用于生成式AI训练时指定偏好。这一决定基于互联网开放标准组织IETF正在审议的一项提案，该提案由Anthropic技术标准负责人Kevin Kelley撰写。
目前，网站所有者需针对每个独立的网络爬虫分别设置规则。新提案通过确立单一通用信号简化了这一流程。出版商只需在robots.txt文件中设置专门针对AI训练的用户代理（User-Agent），即可统一管理。示例如下：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
该指令专门阻止旨在收集AI训练数据的爬虫，但不会完全禁止爬取，也不影响内容出现在搜索结果中。例如，谷歌将其解读为针对“Google-Extended”用户代理的信号，仅停止抓取用于训练Gemini模型的材料，同时保留对特定页面（如新闻资料包）的访问权限。
需注意，该指令无法撤销公司此前已完成的抓取行为，仅防止未来的抓取活动。目前，Anthropic已开始支持新指令；OpenAI承诺在未来几个月内实施；谷歌表示将于2027年初提供支持；微软则定于2027年2月1日正式启用。