Cloudflare新政：所有新网站默认屏蔽AI爬虫 顶级出版商可收费授权​

Meise

互联网基础设施服务商Cloudflare本周二（7月1日）宣布重大政策调整：​​即日起所有新建网站将默认屏蔽已知AI网络爬虫​​，防止这些程序"未经许可或未支付报酬获取内容"。伴随此次变更，Cloudflare会在新用户创建域名时主动询问是否开放AI抓取权限，并允许部分出版商对AI公司实施"按次付费爬取"机制。

这项创新性"爬虫付费计划"让出版商直接为内容访问定价，AI企业可查看报价后决定付费抓取或放弃访问。该功能目前仅开放给"部分头部出版商与内容创作者"测试，但Cloudflare强调其目标是确保"AI公司在获得授权和支付报酬的前提下合法使用优质内容"。

Cloudflare对抗AI爬虫早有铺垫。2023年先推出基础屏蔽功能，但仅对遵守网站robots.txt协议的爬虫生效——这种文本协议实际缺乏强制约束力。去年进阶为可屏蔽"所有AI爬虫"（无论是否遵循robots.txt），如今该功能成为新用户的默认设置。（Cloudflare通过比对其已知AI爬虫清单实现精准拦截）今年三月还推出"AI迷宫陷阱"功能，用技术手段阻挠未授权爬虫。

美联社、大西洋月刊、财富杂志、Stack Overflow和Quora等多家头部平台已加入该计划。出版商们正积极应对行业变局——越来越多用户开始通过AI聊天机器人获取信息，而非传统搜索引擎。"过去六个月用户更信赖AI输出，导致原创内容阅读量锐减，"Cloudflare CEO马修·普林斯上周在Axios Live活动上坦言现状。

Cloudflare同步表示正协助AI企业验证爬虫身份，使其"明确声明抓取目的"（如内容用于训练模型、推断分析或搜索引擎）。网站所有者可据此审核，自主决定放行哪些爬虫。

"原创内容构筑了互联网这项世纪伟大发明，"普林斯在声明中强调，"当AI爬虫无限制抓取时，我们必须共同守护创作者权益。新方案将控制权交还创作者，同时为AI公司保留创新空间。"

linyinet

免费时代早已过去，法律也越来越严苛。。