数码之家

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 33|回复: 0

[科技] Cloudflare推出Precursor,用滚动行为分析揪出自动化爬虫

[复制链接]
发表于 昨天 22:50 | 显示全部楼层 |阅读模式
哈喽,各位被那些歪七扭八、模糊不清、选完红绿灯又让你选斑马线的验证码折磨到恨不得把电脑砸了的普通冲浪选手,各位辛辛苦苦把网站搭起来、结果打开后台一看流量报表发现一大半全是爬虫在刷、真正的人类用户连页面都加载不出来的站长和运营老哥,各位熬夜肝出来的原创文章刚发出去不到五分钟就被AI抓取工具扒得连标点符号都不剩、维权都不知道找谁哭的创作者和媒体同行,各位每天都在安全攻防的最前线跟各种自动化脚本、撞库工具、垃圾注册机死磕、已经快分不清自己到底是人还是机器的技术工程师和安全运维大哥,各位只想趁着午休偷偷打开购物App下单买双鞋、结果被反复弹出的“请选出所有包含交通灯的图片”气得血压飙升直接关掉页面的打工人——你们等了那么久的东西,今天终于落地了。就在2026年7月15号这个星期三,Cloudflare正式向所有用户开放了那款名叫Precursor的机器人检测系统的通用版本,所有人都能用上了。

这东西到底牛在哪?简单一句话:它不再像以前那样,在门口堵着你问“你是不是人”,而是等你进来之后,全程盯着你的一举一动,看你到底能不能装一整局。

咱们先把话说透。现在互联网上到底有多少机器人?Cloudflare自己拉过数据,结论是:在所有网络请求里头,大概有57%是由机器人发出的。你没看错,超过一半的流量根本不是人在操作,而是各种各样的自动化脚本、爬虫、扫描器、刷票软件、恶意注册程序在那儿疯跑。按照Cloudflare自己的统计口径,自动化产生的流量现在已经稳稳压过了人类流量。也就是说,你每次打开一个网页,背后跟你抢带宽、占服务器资源的,多半是一堆不知疲倦的机器。而且这个比例还在往上涨,因为这两年AI大模型训练需要海量数据,那些专门扒内容的抓取工具简直跟蝗虫过境一样,走到哪吃到哪。

面对这种情况,传统的防御手段是什么?就是大家最熟悉也最烦的CAPTCHA验证码。你来到一个网站,系统先给你出一道题——识别图片里的文字、选出所有包含自行车的方块、或者拖拽滑块拼图——你答对了,放你进去。然后呢?然后就没了。系统默认你通过了门口那一关之后,后面不管你在网站上干什么,都当你是好人。Cloudflare的首席技术官Dane Knecht打了个非常形象的比方:“以前我们只是在门口查一下你的身份证,现在我们改成在整个访问过程中观察你的行为。”这个转变背后的逻辑其实很直白:只查一次太容易糊弄了。一个写得稍微好一点的机器人,完全可以在一瞬间识别出验证码图片里的物体,甚至比你手动点得还快还准。而且机器人有个巨大的优势——它可以只做一次假动作。在入口处伪装成人,提交一个正确的验证码,然后后面想干嘛干嘛,系统已经信任它了。这就好比一个小偷进小区,在门卫那儿掏出一张假证件晃了一下,保安一看没问题就放行了,然后小偷在里面挨家挨户撬锁,保安再也不管了。Precursor要干的事,就是把门口的保安撤掉,换成一群便衣,在整个小区里跟着你,看你走路姿势正不正常、有没有在别人家门口鬼鬼祟祟停留、会不会突然从一个楼顶瞬移到另一个楼顶——只要你的行为模式跟正常人对不上,立马就被标记。

那Precursor具体是怎么干活的呢?它的运行环境是你的浏览器内部。你打开一个使用了Cloudflare服务的网站,只要网站管理员在后台点一下开关——没错,就点一下,一行代码都不用改——Precursor就会自动把一个很小的脚本注入到这个网站的页面里。这个脚本开始默默地记录你的一系列操作:鼠标是怎么移动的,轨迹是直线还是带着微微的弧度;滚轮是怎么滚的,是一下一下有节奏地翻,还是一口气拉到最底下;键盘是怎么敲的,是噼里啪啦打一串然后停下来想一想,还是一个字母一个字母慢慢地蹦;剪贴板有没有被操作过,是复制了什么东西还是粘贴了什么内容;甚至连你当前这个浏览器标签页在前台显示了多长时间、什么时候被你切到后台去了、什么时候又切回来了,全都被记录下来。这些数据会被源源不断地传回到Cloudflare遍布全球各地的边缘节点服务器上,那边的分析引擎收到数据之后,立刻开始实时打分,判断你到底是不是一个活生生的人在正常操作。

接下来就是这套系统最精彩的部分了:一致性检查。Cloudflare的分析引擎拿到这些遥测数据之后,会做一件非常聪明的事——它把所有信号放在一起比对,看看有没有互相矛盾、说不通的地方。举个例子:如果你的浏览器标签页明明已经被你切到后台去了——也就是说那个页面在当前屏幕上是完全不可见的——但系统却收到了鼠标移动的信号。这就奇怪了吧?一个正常人不可能在看不见页面的情况下还能精准地移动鼠标,除非他长了透视眼。再比如:如果你在任何一个文本框都没有获得焦点的那一刻,突然触发了键盘输入事件——这也很不对劲,因为你都没地方打字,怎么会产生按键信号?这些自相矛盾的迹象一旦被发现,就会被系统当作高度可疑的自动化行为证据。而且Precursor的处理方式不是“查一次清一次”,而是累积式的。它不会因为某个行为看起来正常就把前面记录的可疑信息抹掉,而是把所有异常信号不断叠加起来,形成一个持续更新的“机器人评分”(Bot Score)。这个评分会一直跟着这个访客,无论他在你的网站上跳到哪个页面,还是在单页应用里来回切换不同的功能模块,评分都不会重置。

这一下就把机器人常用的一个逃逸手段给堵死了。以前那种按每个请求单独检查的方式,机器人很容易钻空子:每次做完一个可疑操作之后,马上刷新页面,把之前留下的行为痕迹全部清掉,然后用一个干干净净的新身份继续下一轮操作。就像一个人每次偷完东西就换一身衣服重新进小区,保安每次都认不出他来。但Precursor把评分机制变成了跨请求、跨页面的连续追踪,你刷新也没用,你的行为指纹已经被记住了,除非你彻底关掉浏览器换一台设备,否则那个分数会一直粘着你。

说到这儿,肯定有人会担心隐私问题——一个脚本在你的浏览器里记录鼠标键盘行为,听起来确实有点吓人,感觉像是被装了监控。Cloudflare在这方面的表态很明确:这个脚本记录的只是聚合后的行为模式,不是具体的输入内容。键盘活动只保存按键的节奏和韵律,也就是说它知道你打字是快是慢、停顿间隔是多少,但你按下的是字母A还是数字1,它根本不知道,也不想知道。鼠标移动也只记录轨迹的形状特征,不关心你点中了页面上的哪个按钮或者哪条链接。而且所有这些数据都是在Cloudflare的边缘节点上实时处理的,不会长期存储,也不会拿去干别的。说白了,它关注的是“你是怎么操作的”,而不是“你操作了什么”。这个区分还是挺关键的。

从更大的背景来看,Precursor并不是Cloudflare心血来潮临时搞出来的东西。这家公司在反机器人和反爬虫这块已经深耕了很多年,产品线铺得非常宽。早在2025年,也就是去年,Cloudflare就开始默认帮所有新用户拦截AI抓取工具了——只要你用的是Cloudflare的服务,那些专门用来扒数据喂大模型的爬虫,不用你动手设置,系统自动就给挡在外面。紧接着他们又搞了一个叫Pay Per Crawl的在线市场,让那些内容发布者可以给AI公司明码标价:你想抓我的数据可以,按次数付费,价格你自己定。再后来他们还推出了AI Crawl Control,允许站长针对每一个单独的爬虫设置允许或者禁止的规则,精细程度堪比给每个访客发不同的通行证,想放谁进来就放谁进来,不想让谁碰就让谁滚。而在企业级的批量业务这边,Cloudflare的机器人管理能力早就卖给了像WP Engine这样的托管服务提供商——WP Engine在自己的Global Edge Security服务里内置的反爬功能,底层跑的就是Cloudflare的网络基础设施。

Knecht在接受路透社采访的时候还透露了一个挺有意思的数字:Cloudflare每天光是在登录和结账这两个环节,就已经在保护用户数十亿次的交易了。但他同时也承认,从用户成功登录进去到最终付款下单之间的那一段路程,一直是个“黑盒子”——用户进了门之后在干什么,有没有被机器人渗透,他们其实不太清楚。Precursor要填补的,正是这个中间地带的空白。它让防护不再是“进门查一次,后面就不管了”,而是贯穿整个访问周期的持续性监控,从你踏入网站的第一步一直盯到你离开为止。

现在Precursor已经正式面向所有用户开放了。Cloudflare的客户只需要在控制面板里点一下开关就能启用,不需要修改任何代码,门槛低到几乎没有。至于价格嘛,Cloudflare这次倒是没有对外公开说具体要收多少钱,估计是根据流量规模或者套餐等级来定的,感兴趣的话可以直接去他们官网上看看详细的定价方案。不过可以肯定的是,对于那些每天被爬虫刷到服务器快要冒烟的网站运营者来说,这玩意儿很可能比再买十台服务器都管用。毕竟,你永远拦不住一个铁了心想闯进来的机器人,但你可以让它进门之后,每一步都走得如履薄冰,每做一个动作都提心吊胆——因为有一双眼睛,正从头到尾盯着它呢。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|数码之家-技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2026-7-16 01:07 , Processed in 0.078000 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz!

© MyDigit.Net Since 2006

快速回复 返回顶部 返回列表