英伟达周二正式发布围绕RTX Spark超级芯片构建的完整软件生态系统。此举旨在回应过去两年关于“本地AI”的核心质疑:如何在消费级硬件上部署前沿模型,同时不牺牲模型能力。

解决方案是Nemotron 3.5 Bolt 74B。这款拥有740亿参数的模型采用稀疏混合专家(MoE)架构,每次推理仅激活90亿参数,并结合2位量化感知训练技术,使其仅需24GB内存即可运行。该模型将于10月15日(周四)发布。基于Grace CPU、Blackwell GPU及NVLink-C2C互连技术的RTX Spark笔记本电脑,则定于10月16日(周五)开售。

同期发布的软件栈还包括:免费开源的路由器PAIR,用于局域网内GPU任务分发;内置模型上下文协议(MCP)服务器的Broadcast 2.3;以及与微软合作开发的沙盒化智能体执行框架早期预览版。英伟达借此表明,前沿AI推理无需完全依赖数据中心订阅服务。

RTX Spark:统一内存架构打破显存瓶颈

RTX Spark是英伟达首款作为统一超级芯片构建的PC平台。通过NVLink-C2C技术,Grace CPU(最高20核)与Blackwell GPU(最高6144 CUDA核心)实现高达900 GB/s的带宽互联,远超PCIe Gen 5 x16的64 GB/s。这种高带宽使得GPU能直接读取CPU使用的LPDDR5X统一内存池,无需数据复制。

该平台支持最高128GB统一内存,虽无离散高带宽显存,但容量足以加载700亿参数级别的模型,且成本仅为同类工作站的几分之一。硬件分为两种配置:20核CPU/6144 CUDA核心版(适用于笔记本和紧凑型台式机)及18核CPU/5120 CUDA核心版(仅限笔记本)。平台AI算力高达1 petaFLOP FP4,由英伟达与联发科合作生产,运行Windows on Arm系统。

技术解密:稀疏激活与2位量化

Bolt 74B能在24GB内存中运行,依赖于两项关键技术。首先是混合专家(MoE)架构。与传统密集模型不同,MoE将参数划分为多个子网络,根据门控机制仅激活处理当前令牌所需的子集。这使得740亿参数模型在推理时的计算和内存占用相当于90亿参数模型,且未牺牲质量。

其次是2位量化感知训练(QAT)。不同于训练后量化,QAT在训练过程中模拟精度损失,使模型学会补偿压缩带来的误差。结合这两项技术,Bolt 74B的内存占用从全精度密集模型所需的140GB以上降至24GB。该模型完全开源,权重、训练数据和配方均公开,并将集成至llama.cpp、vLLM、Ollama等主流框架及Hermes、OpenClaw等智能体平台。

PAIR正式版:构建家庭AI算力网络

英伟达个人AI路由器(PAIR)已从Beta版转为正式发布。新增对llama.cpp的支持、Hugging Face直接下载模型功能及RTX Spark专用集成。PAIR安装在局域网内的GPU设备上,通过mDNS自动发现节点,利用mTLS确保安全通信,并将推理请求路由至有空闲算力的设备。英伟达测试显示,该方案最多可支持18台设备协同工作,显著加速可并行子任务的处理吞吐量。

PAIR兼容GeForce RTX 20系列及以上显卡、RTX PRO工作站卡、DGX Spark及Apple M4芯片,支持Windows、Linux和macOS系统,遵循Apache 2.0许可证免费开放。此外,llama.cpp新增对RTX Spark及轻量级决策模型的支持,后者在智能体动作选择上比完整推理快200倍。配套的Llama Windows应用也同步上线,提供图形化界面以简化本地模型的管理与运行。

Broadcast 2.3集成MCP,强化智能体连接

NVIDIA Broadcast 2.3新增视频超分辨率、帧生成及离线文件处理功能。其核心升级在于内置模型上下文协议(MCP)服务器。MCP作为连接AI智能体与外部工具的标准接口,已被OpenAI、Google DeepMind等采纳。英伟达发布了针对NVIDIA App、Broadcast、PAIR、Omniverse和RTX Remix的五个MCP服务器,并开源CUDA-X Skills库,指导开发者让智能体调用CUDA加速库。

尽管NSA指出MCP在企业环境中的安全模型尚需完善,但其标准化趋势已定。英伟达通过两层架构保障本地智能体安全:微软执行容器(MXC)提供进程、会话及未来的微虚拟机隔离;NVIDIA OpenShell框架则简化沙箱采用并增强监控。GitHub Copilot和OpenClaw已支持MXC,Hermes预计十月底前完成集成。

Switchyard路由策略:大幅降低云端API成本

开源模型路由库NVIDIA Switchyard解决了本地与云端推理的成本平衡问题。它提供随机分割、LLM分类器、阶段路由器及升级路由器四种策略。早期合作伙伴数据显示,LangChain通过仅将7%的请求路由至云端前沿模型,成本降低74%;Cognition的Devin Desktop成本降低28%;Ramp在保持准确性的前提下成本降低58%。英伟达内部基准测试表明,Switchyard可将前沿API成本降至纯云端方案的约三分之一。Hermes将于十月后期集成该功能。

生态协同:创意工具与开发者栈就绪

配合RTX Spark上市,Adobe宣布Photoshop、Premiere Pro等应用在RTX Spark上性能最高提升2倍;Blender 5.3推出RTX Spark DLSS兼容性Beta版,稳定版计划11月发布;ComfyUI新增RTX Video节点支持帧生成和HDR转换。

开发者工具方面,英伟达与微软发布了Windows on Arm首个PyTorch Conda版本及原生Python 3.15构建。目前前15,000个Python wheels中97%已适配该平台。需注意,CUDA Toolkit 13.4开发者预览版仍存在分页内存性能低下等已知问题,生产版修复情况待确认。GitHub Copilot通过HydraFusion增加对本地模型及MXC的支持,微软MAI 1.1 Coding Flash也为本地推理提供后端支持。

发布时间表

Nemotron 3.5 Bolt 74B将于10月15日开放下载,RTX Spark笔记本电脑于10月16日正式开售,零售价格尚未公布。小型模型Nemotron 3.5 Bolt E4B 4GB及《上古卷轴V:天际》AI NPC平台SkyrimNET定于10月23日发布。Hermes的MXC集成与Switchyard支持目标在十月底前完成,Blender 5.3稳定版预计11月推出。