本周，旧金山Salesforce Dreamforce大会上，科技巨头就“是否应放缓AI部署”展开激辩。与此同时，约一小时车程外的圣克拉拉，另一场AI基础设施峰会正密集探讨如何极速构建AI算力底座。
来自亚马逊云科技（AWS）、甲骨文、博通、高通及d-Matrix等技术高管指出，随着AI需求指数级增长，高能耗、内存瓶颈及失控的Token成本已成为行业痛点。“每瓦特Token产出已成为AI竞争的新关键指标，”高通数据中心和AI部门执行副总裁Tony Pialis表示，“基础设施必须大幅优化。”
推理负载激增，CPU重回视野
2025年，AI重心从模型训练转向推理（Inference），导致Token使用量激增，促使基础设施向异构计算演进。AWS高级副总裁Peter DeSantis指出：“大部分算力将用于推理，这是一项巨大的工作负载。”
AWS依托其Graviton系列Arm架构CPU提升能效。今年6月推出的Graviton5 CPU，专为实时AI推理和多步骤任务编排设计。DeSantis称，目前AWS上绝大多数工作负载在Graviton上运行更快且更具成本效益，AI将催生更多通用型工作负载。
突破“内存墙”：高通与d-Matrix的两条路径
内存是AI处理的另一大瓶颈。分析师数据显示，典型AI服务器内存用量是传统服务器的八倍。预计AI服务器内存支出将从2025年的350亿美元，跃升至2027年的1750亿至1900亿美元。
为解决这一难题，高通放弃传统高带宽内存（HBM），转向专有架构“高带宽计算”（HBC）。Pialis称，HBC在大批量数据下的每瓦特带宽是HBM的六倍，每瓦特容量是SRAM的200倍，通过将计算更紧密地靠近内存，有效克服“内存墙”。
另一边，初创公司d-Matrix选择集成高吞吐量3D DRAM。其下一代芯片架构Raptor通过垂直堆叠存储单元，实现更高密度与性能。CEO Sid Sheth表示，Raptor性能优于SRAM和HBM。上周，d-Matrix宣布与英伟达合作，将Raptor整合进NVLink Fusion机架参考架构，旨在提供超低延迟的高端Token服务。
网络连接：AI集群的隐形引擎
在整合数百万GPU、CPU及存储系统的过程中，网络连接成为核心。甲骨文推出专为云设计的高性能网络虚拟化架构Acceleron，并与英伟达、AMD合作开发Acceleron RoCE技术，绕过服务器CPU数据路由环节以提升性能。
博通则坚持基于以太网构建AI网络。去年推出的Tomahawk 6网络芯片，利用Cognitive Routing 2.0 AI功能检测拥塞并重新路由数据。博通产品副总裁Hasan Siraj表示：“业界共识是，全球最大集群均使用以太网扩展，网络即计算机。”
尽管Token成本高企，企业仍愿买单。Carrier Global首席数据和AI官Arun Nandi透露，该公司今年Token支出增加八倍，但相比单Token成本，每项任务的价值更为关键。“这是探索阶段的账单，”他说，“我们让仪表一直运行着。”