IBM 联合 llm-d 开源项目多位贡献者，正式发布其分布式人工智能推理框架 1.0 版本。新版本引入多项运营控制功能，旨在帮助企业在其自有基础设施上可靠运行大语言模型。
此次发布正值 PyTorch 北美大会前夕，重点聚焦于管理竞争性工作负载、在升级期间维持服务连续性，以及提升硬件在处理 AI 代理日益增长的模型请求时的效率。
开源生态与核心维护者
llm-d 基于 Kubernetes 构建，负责协调计算基础设施上的模型服务。IBM、子公司 Red Hat 以及 Google 是该项目的核心维护者。去年，他们联合 CoreWeave 和 Nvidia 共同创立该项目。其他贡献者还包括 AMD、Cisco、Hugging Face、Intel 和 Mistral AI。
该项目为寻求更多推理成本控制权和基础设施选择权的企业提供了一条路径，有助于减少对单一模型提供商、云平台或硬件平台的依赖。
企业级运营就绪能力
IBM 研究首席科学家、IBM Fellow Ruchir Puri 表示，在 IBM 研究中，开放大语言模型结合 llm-d 大幅降低了量子纠错硬件设计等计算密集型问题的推理成本，实现了 11.8 倍的效率优势。llm-d 1.0 通过提供运营就绪状态，进一步扩展了这些节省。
该框架重点关注部署后的生产环境挑战，如处理流量波动、硬件故障、软件更新及资源竞争，同时保持可接受的响应时间。1.0 版本新增了对多租户服务质量的支持、零停机操作以及专为 AI 代理定制的服务模式。其流量控制和优先级设置旨在防止代理活动激增压垮需要快速响应的服务（如人类编程助手）。
项目联合创始人兼核心维护者 Carlos Costa 指出，该版本提升了框架的成熟度，使其能像运行其他关键服务一样稳定运行，具备稳定的应用程序接口、支持不同优先级的多租户共享基础设施，以及不中断操作的升级能力。
技术优化与成本效益
针对 AI 代理多轮交互的特性，该框架能将请求定向到持有相关缓存上下文的基础设施，增加重用先前处理上下文的机会。路由系统将请求导向已持有相关缓存的副本，并能在 GPU 内存、CPU 内存和存储之间移动缓存信息，以在 GPU 容量受限时保留可重用信息。
1.0 版本将这些技术与运营控制相结合，引入了提示处理与响应生成分离、工作批次优化以及在加速器上分布大型混合专家（MoE）模型的方法。IBM 引用测试数据指出，该框架路由器捕获了 97% 的可用缓存重用率。
在另一项演示中，IBM 和 Red Hat 在自托管基础设施上并发运行了 3,000 个软件工程代理，其成本仅为通过托管服务运行相同开放模型的五分之一到十分之一。IBM 强调，随着代理执行多轮推理、工具使用和修订，避免重复处理相同材料带来的经济效益更加显著。
目前，llm-d 由云原生计算基金会（CNCF）作为沙盒项目托管，可与 vLLM 和 SGLang 等推理引擎配合使用。Red Hat 副总裁 Stephen Watt 表示，该框架提供了高性能分布式推理，具备企业在已知运营模式中所需要的可靠性和规模。