圣迭戈儿童图书作家兼插画家切尔西·保卢斯（Chelsea Paulus）近期遭遇了一场意外的流量风暴：Meta的自动化机器人向其网站发起了超过55万次点击请求，几乎耗尽了托管资源，迫使她紧急排查以维持业务运转。
保卢斯经营该业务已有十年，去年转为全职艺术家。得益于此前在科技和网页设计领域的工作背景，她在网站流量异常激增时迅速察觉问题。“这以前从未发生过，”保卢斯表示，“即便具备一定技术知识，这一周的处理过程也令人压力巨大。”
与Meta机器人的“拉锯战”
10月24日，保卢斯收到托管服务商SiteGround的警告邮件，显示其CPU资源使用率已达80%。她的四个网站共享同一托管计划。检查安全仪表板后，她发现每秒都有多次请求涌入。通过WordFence插件追踪IP地址，她发现请求源自Meta位于达拉斯的数据中心，用户代理标识为“Meta External Agent”。
据Meta开发者文档描述，该代理用于抓取网络数据以训练基础AI模型或改进产品。保卢斯称，虽然她偶尔投放Meta广告并见过Facebook机器人，但如此规模的点击尚属首次。由于修改robots.txt文件和设置防火墙需24小时生效，她被迫联系托管商获取代码，写入通常不建议触碰的隐藏文件中以紧急阻断机器人。
然而，修复仅是暂时的。周三中期，另一个名为“Meta Web Indexer”的机器人出现，将资源使用率推至100%。Meta将该工具定义为用于提升Meta AI搜索结果质量的爬虫。
小企业的困境与呼吁
针对此事，Meta发言人表示，网站管理者可通过robots.txt等工具控制爬虫行为，并建议查阅相关开发者文档。SiteGround方面未予置评，但其邮件截图显示，公司服务器端保护功能已在尝试限制这些机器人。
截至周一，保卢斯的网站仍在艰难维持。为防止额外真人点击导致彻底离线，她不得不从Instagram个人资料中移除网站链接。保卢斯指出，机器人并非客户，不会产生收入，而她无力支付增加流量限额的费用。目前，法律并未禁止AI机器人爬取公开网站。
“Meta需要建立护栏以防止此类事件发生，”保卢斯呼吁道。她担心，若不受监管的AI持续如此操作，Cloudflare等提供免费防护服务的平台将难以为继。她预测，若情况持续，小企业将被迫承担更高费用，要么购买更高额度，要么部署更昂贵的自我保护程序。目前，她正探索使用Cloudflare免费的验证工具来阻挡机器人访问。