独立3D建模社区Open3DLab发出公开警告,称一个与游戏平台Roblox相关的网络爬虫对其网站进行了大规模抓取。该爬虫几乎“映射”了Open3DLab及其姊妹站点SFMLab和SmutBase上的几乎所有项目,累计下载数据达145.5GB。Open3DLab在博客中指出,该过程获取了712个项目中1,027个文件的“完整副本”,并推测这些数据被用于“AI训练目的”。

无视协议的疯狂抓取

据Open3DLab披露,工作人员于10月18日监测到异常流量,一个标识为trellis2-data-sourcing/1.0的爬虫向站点及下载基础设施发起海量请求。该爬虫源自单个Amazon AWS地址,其用户代理中明确标注了“3D基础模型研究”及一个以roblox.com结尾的邮箱。尽管网站robots.txt文件和服务条款明确禁止此类抓取,且部分项目创作者协议禁止非商业使用,该爬虫仍无视规则持续运作。

在短短34小时内,该爬虫通过26,429次请求扫描了目录中18,926个项目。在暂停运营前,它从712个项目中实际下载了1,027个文件。其中包括从专注成人内容的姊妹站SmutBase下载的364个文件(54.8GB),以及从SFMLab下载的345个标记为成人的项目(62.6GB)。

限速服务器成唯一瓶颈

Open3DLab表示,该爬虫的主要限制因素是其使用了限速且并发受限的免费服务器。抓取行为在当天被发现并于次日早上被阻止。10月19日,检测到进一步的下载尝试,这些活动恰好在工作时间内进行,仅在午餐时间短暂暂停。尽管已被拦截,下载尝试并未减少。10月20日,随着请求逐渐减少,爬虫进行了最后一次可能是测试速率限制的尝试后完全停止。Open3DLab曾就此寻求评论,但未获回复。

指向Roblox的AI野心

用户代理中提到的“3D基础模型研究”引发了对Roblox动机的猜测。Open3DLab指出,Roblox自2025年3月以来一直在构建此类模型,当时推出了用于角色绑定的核心生成式AI系统“Roblox Cube”,并将角色和头像列为未来目标。此外,一种可通过自然语言提示在游戏中构建模型的“4D生成”AI技术,也计划于2026年2月进行Beta版发布。虽然文中对研究人员姓名进行了匿名处理,但用户代理中的邮箱与Roblox Cube研究论文中列出的一位研究人员邮箱相匹配。

鉴于Roblox的过往记录,Open3DLab认为“最可能的解释”是该爬虫正在为其3D基础模型收集训练或评估数据,但也承认无法确证。作为拥有超过3300万用户、其中40%年龄低于12岁的游戏平台,Roblox此次卷入争议。Open3DLab明确表示,“不认为Roblox有意收集成人内容”,但其日志显示“没有人对此进行检查”,这使Roblox陷入了不利局面。