Meta位于俄亥俄州新奥尔巴尼的Prometheus超级集群已横跨多栋建筑，目前运行着数十万块英伟达GPU，并计划将规模扩展至约100万块。该吉瓦级集群的第一阶段建设已完成，并被用于训练包括Muse Wonder在内的Muse系列模型。两年前，该站点还仅是处理网络流量的传统数据中心。
Meta表示，全面部署时，Prometheus将包含约100万个分布式GPU，所有GPU同步运行。
三代英伟达机柜并行
Prometheus目前运行两个英伟达平台，均基于由72个GPU组成的机柜构建，作为加速器单元运作。其中，Catalina平台使用GB200 NVL72，Clemente平台采用更新的GB300 NVL72。第三个平台San Miguel将引入英伟达Vera Rubin NVL72机柜。
这些GPU分布在传统数据中心、专为AI优化的建筑以及快速部署结构中，通过数英里长的光纤连接。每栋建筑的网络连接多达20,736个GPU，独立的聚合网络则在2公里至超过100公里的距离内连接各建筑。此外，Meta还使用了从合作伙伴处租赁的算力容量。
中断率降低99%
在如此规模下，单台机器故障可能导致整个训练任务停止。Meta透露，2025年中期第一阶段运行时，每8,000个GPU的每日中断事件峰值接近1,000次。经过一年的工程优化，这一数字已减少99%。
早期主要问题是超过60万个GPU间NVLink连接的信号质量。随着GB300机柜规模扩大，内存故障成为更突出的问题。在Muse Wonder训练期间，集群预训练阶段的生产性计算时间占比超过85%，强化学习阶段超过90%。中断间的平均运行时间从约47,000个GPU小时提升至54,000小时以上，Meta的目标是达到约100,000小时。
可靠性提升以硬件成本为支撑。每个72 GPU机柜中，64个处于运行状态，8个作为备用，Meta还将约2%的机柜保留为储备。因此，运行需要32,768个GPU的任务实际上需配置37,656个，冗余约13%。
应对兆瓦级电力波动
当数万个GPU同步计算和通信时，集群功耗波动幅度可达30%至40%。启动或暂停大型任务可在几秒内导致数万兆瓦的功率变化。Meta通过名为Dynamo Dimmer的软件逐步限制GPU功率，并由机柜、设施及电网层面的电池提供支持。
Meta表示，其支付了在新奥尔巴尼使用的全部能源成本，并通过新的清洁能源和可再生能源进行抵消。今年7月，因AI建设的燃气产能增速超过可再生能源，Meta退出了RE100倡议。
Meta称，其下一个位于路易斯安那州里奇兰教区的超级集群Hyperion，设计借鉴了Prometheus的经验教训。此外，Meta承诺向数据中心社区捐赠10亿美元。