随着全球人工智能投资持续攀升，数据显示2025年全球AI投资已突破3000亿美元。当前，企业IT部门仍主要聚焦于支持模型开发，以大型GPU集群和高密度计算为核心的架构占据主导地位。然而，AI推理正迅速成为主导性工作负载，支撑模型在大规模生产环境中面向真实用户运行的架构，已成为AI发展的未来方向。
推理需求显著增长。数据显示，推理目前已占据约三分之二的算力份额；预测显示，到2030年，推理将占数据中心总需求的30%至40%。然而，专门针对推理的基础设施建设并未同步跟上。
推理并非缩小版的训练环境
从IT视角看，训练和推理对基础设施的要求截然相反。AI训练依赖海量、集中式的GPU集群，具备极高功率密度和专用高速互连技术，旨在最大化单机房内的通信效率。相比之下，推理面对的是持续的信息流和不可预测的用户需求。一旦提示词涌入，系统需要地理分布式的计算资源，以响应并随实时需求扩展。
推理需7x24小时运行并为终端用户提供毫秒级响应，因此更依赖商用以太网、地理分布的边缘节点及低延迟网络连接，而非单一数据中心内部的吞吐量隔离。原本助力训练的优秀架构设计，反而可能阻碍大规模推理的运行。
两者的成本结构也完全不同。训练属于一次性资本支出，模型构建完成后成本即沉没。许多致力于优化训练支出的组织正面临现实困境：他们拥有的是错误的基础设施底座。与此同时，推理是一种可重复的运营成本，随用户、查询及智能体交互次数增长而增加，更像是一个需与工作负载共同成长的有机体。
智能体加剧架构压力
自主AI智能体（Agents）进一步加剧了基础设施缺口。智能体不仅生成单一响应，还需规划、分步执行、调用外部工具并协调其他智能体。这种工作负载使网络数据流量呈倍数级放大。随着智能体解决方案需求增加，支持其运行的基础设施需求也将随之飙升。
这一影响已具实质性。预测显示，到2026年底，40%的企业应用程序将与任务特定的智能体集成；到2027年，智能体使用量将激增十倍，Token和API调用量将增加数千倍。
推理在传统广域网（WAN）和数据中心网络架构无法处理的方式上，充当了南北向流量的倍增器。研究发现，大多数企业WAN目前无法支持AI数据流量模式，必须随着AI成为第二大基础设施投资优先级而演进。此外，智能体工作负载并非平稳流动，而是间歇性的暴雨式冲击，单次编排事件可能同时触发数十个下游API调用。这导致为平均负载设计的网络在智能体大规模协调时触及容量上限，引发延迟和可靠性问题，致使部分企业AI试点项目在投产前崩溃。
推理成为关键的CPU用例
构建面向推理的架构始于硬件层。CPU对于规划、调度、工具调用协调以及定义智能体工作负载的多步推理循环至关重要。行业在AI训练热潮期间过度关注GPU市场，忽视了CPU在推理工作负载中的必要性。随着推理规模扩大，CPU角色从辅助变为关键，成为编排层的主要过滤器。
从智能体视角来看，高核心数量的服务器CPU比GPU加速器更经济地处理工作负载。但这并不意味着可以摒弃GPU，两者缺一不可。推理仍需GPU功能，但CPU能力往往是大多数组织未加考量的瓶颈所在。
对齐计算、网络和存储是关键
现实情况是，多数AI用例的投资回报率（ROI）极低。调查显示，仅有28%的AI用例完全成功并达到ROI预期，另有20%彻底失败。失败的首要原因是期望过高，过快地要求无法支持该工作负载的基础设施。
为避免陷入这一陷阱，企业应在构建系统前先搭建底层基础设施。关键在于构建作为独立管理资源运行的专用计算、网络和存储。生产规模下的推理要求这三者协同工作：计算负责模型执行，存储决定上下文及检索数据的可用性速度，网络则定义计算和存储能否以适当延迟与外部通信。能够尽早做出这一区分的组织，将为AI下一阶段做好更充分准备，减少管理基础设施故障的时间，从而更专注于通过AI推理创造价值。