Roblox爬虫狂扒3D模型站：145GB数据一扫而空，连成人内容也没放过？

麻薯滑芝士

嗨，屏幕前各位平时爱逛游戏社区、喜欢捣鼓3D建模或者对AI训练数据怎么来的特别感兴趣的朋友们，今天有一条消息估计会让你们瞪大眼睛。就在2026年10月28日这个星期三，国外科技媒体Tom's Hardware发布了一篇报道，内容相当劲爆：一个跟Roblox脱不了干系的网络爬虫，最近偷偷摸摸潜入了独立3D模型分享社区Open3DLab，不光把这个网站翻了个底朝天，连带着人家的两个姊妹站SFMLab和SmutBase也没能幸免。这个爬虫前前后后一共下载了145.5GB的数据，里面既有普通的3D模型资产，也有大量标注了成人内容的文件。Open3DLab的管理团队在自家的博客上详细记录了整件事的来龙去脉，并且毫不客气地表示，他们怀疑这些数据是被拿去训练AI模型用的。



事情还得从今年10月18日说起。Open3DLab是一个由3D建模爱好者自发组织起来的非营利平台，创作者们把自己辛辛苦苦做出来的模型上传到网站上，供其他人学习参考或者拿来二次创作。很多作品旁边都附带了明确的许可协议，有的写着禁止商用，有的直接标明不允许拿去训练AI。然而就在10月18日那天，Open3DLab的技术人员发现情况不太对劲——有个爬虫正在疯狂地向他们的网站和下载服务器发送请求，数量多得让人头皮发麻。这个爬虫的用户代理标识写的是“trellis2-data-sourcing/1.0 (3D foundation model research; [redacted]@roblox)”，所有流量都来自同一个亚马逊AWS的IP地址。说白了，这个爬虫压根没打算遮遮掩掩，直接就告诉别人它是Roblox那边派来的。更让Open3DLab生气的是，这个爬虫完全无视了网站根目录下的robots.txt文件，那个文件里白纸黑字写着禁止任何形式的自动化抓取。它也不管网站的服务条款怎么说，那些条款同样明令禁止爬取行为。除此之外，每个项目页面上创作者自己标注的许可协议也被它当成了摆设，那些协议里清清楚楚地写着不允许非商业用途，尤其是不允许拿去训练AI模型。

这个爬虫的工作效率高得吓人。在短短34个小时之内，它总共发出了26429次请求，把Open3DLab网站上全部18926个项目的信息读了个遍。技术人员在博文里形容它“几乎把整个目录都扫描完了”。扫描结束之后，这个爬虫就开始动手下载了。它从712个不同的项目里精心挑选了1027个文件，全都复制了一份带走。Open3DLab在博文中明确表示，他们相信这些文件是被拿去做“AI训练”用的。值得注意的是，被下载的文件中有很大一部分来自成人内容站点。SmutBase是Open3DLab旗下的一个姊妹站，专门存放成人向的3D模型，这个爬虫从那里捞走了224个项目里的364个文件，加起来足足有54.8GB。另一个同样带有成人标记的站点SFMLab也没能逃过一劫，345个项目的文件被扒走，总大小达到了62.6GB。把这两块加起来，光是成人相关内容就有709个文件、117.4GB，剩下的才是普通站点的数据。

那么，这个爬虫为什么没能把整个网站都搬空呢？Open3DLab分析后发现，它的“主要限制因素”竟然是它使用的免费下载服务器——那些服务器对下载速度和同时进行的连接数都做了严格的限制。要是它用的是付费的高速服务器，恐怕下载量还会翻好几倍。好在Open3DLab的技术团队反应还算及时，他们在10月18日当天就发现了异常，并且在第二天也就是10月19日的早晨成功封堵了爬虫的访问。然而对方显然不甘心就这么放弃。根据日志记录，10月19日白天，这个爬虫又卷土重来了，而且它的活动时间“恰好卡在工作时段内，只在午餐时间短暂停顿了大约一个小时”。就算已经被屏蔽了，它依然没有减少下载尝试的次数。到了10月20日，这个爬虫又进行了最后一次试探，这次的请求频率明显降低了，Open3DLab推测它“很可能是在测试网站的速率限制机制”，直到当天晚些时候才彻底停止。Open3DLab在此期间曾多次尝试联系这个爬虫背后的团队，希望得到一个解释，但始终没有收到任何回复。

说到这里，大家肯定很好奇：Roblox为什么要费这么大的力气去别人的网站里扒3D模型呢？答案其实就藏在那串用户代理标识里——“3D foundation model research”。Open3DLab在博文中特意回顾了Roblox在AI领域的一系列动作。早在去年3月，Roblox就推出了一套名为“Roblox Cube”的系统，这是他们自主研发的核心生成式AI工具×搜同款，专门用来做3D建模。这套系统最初的目标是实现角色骨骼绑定，未来还计划扩展到角色和虚拟形象的自动生成。到了今年2月，Roblox又进一步测试了一项叫做“4D generation”的新技术，这项技术允许用户直接用自然语言来描述想要的模型，然后系统就能自动生成游戏内的3D物体，目前还在公测阶段。更关键的是，Open3DLab经过比对发现，那个爬虫用户代理里留下的邮箱地址，正好跟Roblox Cube研究论文上列出的某位研究人员的联系方式对得上——虽然Open3DLab出于保护隐私的考虑隐去了具体姓名，但这个关联已经足够明显了。

综合所有这些线索，Open3DLab给出了他们认为“最有可能的解释”：这个爬虫就是在为Roblox的3D基础模型收集训练数据或者评估数据。尽管他们无法百分之百证实这一点，但考虑到Roblox过往的一些行为记录，这种推测合情合理。要知道，Roblox不仅仅是一个游戏平台，它还是一个庞大的游戏创作生态系统。根据公开数据，Roblox拥有超过3300万的活跃用户，平台上运行着数以十亿计的游戏体验，而且有大约40%的用户年龄不到12岁。这样一个面向低龄人群的平台，居然被曝出偷偷爬取包含成人内容的3D模型数据，这本身就非常敏感。Open3DLab在博文中特别强调，他们“并不认为Roblox是故意冲着成人内容去的”，但问题在于，“根据我们的日志显示，根本没人去检查过爬虫到底下载了什么”。在他们看来，Roblox落入了这样一个尴尬境地，无论如何都不是什么光彩的事。

这次事件不仅暴露了Roblox在数据采集方面的激进态度，也让整个独立3D建模社区感到不安。Open3DLab是一个由爱好者组成的非营利平台，创作者们无偿分享自己的心血，很多人明确标注了禁止商用或禁止AI训练的条款。如今，这些条款被一个大型商业平台的爬虫视若无物，创作者的权益受到了实实在在的侵犯。虽然Open3DLab已经加强了防护措施，但谁也无法保证下一次攻击不会来得更猛烈。而对于广大玩家和开发者来说，这件事也敲响了警钟：当一家手握数千万未成年用户的公司，开始在暗处大规模搜集各种类型的数据时，我们是不是该停下来好好想一想，这些数据最终会被用来做什么？会不会有一天，你家孩子玩的游戏里那些角色，背后就藏着从别人那里未经授权扒来的模型？这些问题，恐怕比145GB的数据本身更值得深思。

xushu

游客请登录后查看回复内容

全利88

游客请登录后查看回复内容