OpenAI于2026年10月30日宣布,将支持一种写入robots.txt的通用信号,帮助网站运营者表达其内容是否用于基础生成式人工智能模型训练的偏好。该信号源于互联网工程任务组(IETF)人工智能偏好工作组的持续讨论,目标是让网站不必再针对不同AI公司的爬虫分别维护规则,而是通过一套共享表达向多个参与的AI服务商传达相同选择。OpenAI:Making it easier for websites to express AI training preferences
这项变化目前更接近标准和治理机制上的推进,而不是一项已经全面上线的产品功能。OpenAI表示,计划在未来几个月实施这一信号,并将在后续公布具体细节。因此,现阶段能够确认的是支持意向和技术方向,不能据此判断所有AI服务商已经采用,也不能认为网站内容将自动获得统一的使用控制。
从网站运营者角度看,共享信号可能降低内容授权管理的维护成本。过去,网站通常需要识别不同公司的爬虫,并为每个服务商分别设置规则;如果多个AI提供商都遵守同一信号,网站可以用更接近行业通用协议的方式表达训练偏好。不过,OpenAI明确表示,新信号不会取代现有robots.txt控制,其已有的爬虫控制机制仍然适用并会继续得到尊重。
这也反映出生成式AI训练数据治理正在从单家公司规则,逐步转向跨服务商的共同约定。其实际效果取决于信号的字段定义、爬虫识别准确性、参与者覆盖范围以及服务商是否持续遵守。对于出版商和其他内容网站而言,后续应关注OpenAI的实施说明、IETF相关草案的标准化进展,以及主要AI提供商是否公开支持,而不宜仅凭一次公告就推断内容授权体系已经统一。
总体来看,OpenAI此次表态为网站表达AI训练偏好提供了更明确的协作方向,但短期内仍属于自愿参与、逐步落地的治理安排。它能否成为事实上的通用机制,仍需要更多服务商加入并经过实际运行验证。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情