英伟达（Nvidia）正式发布Nemotron 3.5 Transcribe，这是一款免费的开源权重语音AI模型。该模型支持40种语言的音频转录，可实现其中31种语言与英语的双向互译，最多识别8位独立说话人，并能在单次推理中回答关于录音内容的问题，全程无需将音频路由至云服务。
效率革新：单GPU部署与单次推理
Nemotron 3.5 Transcribe的核心优势在于其参数运算效率。尽管模型总参数量达340亿，但其混合专家（MoE）架构在每个处理步骤中仅激活约43亿个参数。这一活跃参数量约为Mistral Voxtral Small模型的六分之一，却在基准测试中实现了相当的准确率。得益于这一效率，开发者可在单张高端GPU上部署该模型并完全离线运行，无需多节点服务器集群，这对处理敏感音频的行业极具吸引力。
传统语音识别流程通常包含语音活动检测、转录、翻译、说话人日记化及音频问答五个独立环节，每次交接均会引入延迟并累积错误。Nemotron 3.5 Transcribe将这五个步骤压缩为一次前向传播。模型支持提示词驱动，开发者可通过自然语言指令（如“转录并标记说话人”、“翻译成英语”或“总结会议决定”）控制输出，并可注入特定领域词汇以减少专业术语的幻觉拼写。
该模型支持长达一小时的录音，上下文窗口为65,536个token。需要注意的是，其音频问答功能主要基于英语环境训练，在处理非英语音频时，该功能应被视为辅助能力而非核心功能。
硬件门槛：显存需求与精度格式
虽然模型每步推理成本较低，但开发者仍需在GPU内存中存储全部340亿参数。在BF16精度下，这需要约68 GB显存；FP8精度下约需34 GB；而在Nvidia最压缩的NVFP4格式下，约需17 GB显存。这意味着8GB或12GB显存的消费级GPU无法加载完整模型。在NVFP4精度下，Nvidia RTX PRO 6000 Blackwell Server Edition显卡可在不到三分钟内处理100小时音频。对于没有Blackwell硬件的团队，该模型也可在Jetson AGX Thor边缘计算机和DGX Spark桌面AI系统上运行。
基准性能：数据源自英伟达，需谨慎参考
英伟达数据显示，截至2026年10月12日，Nemotron 3.5 Transcribe在Hugging Face英文开放ASR排行榜上位居开源权重模型之首，平均字错误率（WER）为4.71%。在Artificial Analysis平台的AA-WER指数上，其得分为2.81%，与Mistral Voxtral Small的2.77%极为接近，但后者使用了约240亿活跃参数，而Nemotron仅使用约43亿。
在重叠语音测试基准VoiceArena中，该模型漏读率为8.32%，远低于竞争对手约31%的中位数。在David AI DAI-ASR-I18N基准测试中，其说话人归属错误率为18.26%，创下最低纪录。然而，上述所有数据均来自英伟达官方文档或引用，尚无独立第三方审计机构验证。针对特定领域音频，其开箱即用准确率起始于30.8%，经精心提示后可降至20.8%。
微调与权衡：医疗案例研究
微调可显著提升特定领域精度。英伟达展示的医疗转录案例显示，在对印度医生和医学生录音进行训练后，错误率降至11.8%，优于专用开源医疗语音模型。完整微调过程在单个GB300 Blackwell系统上耗时约14个GPU小时。但效率提升伴随权衡：微调后模型在通用英语语音上的错误率略有上升，且在药品品牌术语上的准确性下降。英伟达建议保留至少100条经过验证的音频记录作为测试集，以监测回归现象。
生态配套：Granary v2数据集与许可
随模型发布的还有Granary v2，这是一个涵盖48种语言、约84.4万小时语音的开源多语言数据集。每条录音提供逐字、标准化和清理三种转录风格，开发者可通过自然语言提示请求任意风格。需注意，公开清单并非模型训练数据的完美副本。
Nemotron 3.5 Transcribe采用OpenMDW-1.1许可，明确允许商业训练、修改、重新分发和部署。该许可是否符合开源倡议（OSI）定义仍在审查中。模型权重提供BF16、FP8和NVFP4格式，vLLM和NeMo Speech已支持零天服务，但vLLM集成速度比英伟达专有的NIM服务慢约两倍。
市场定位：专注离线批处理与合规
与Mistral、ElevenLabs等瞄准实时语音代理的竞品不同，Nemotron 3.5 Transcribe明确不支持实时流式转录，而是专注于会议录音、医疗咨询、法律笔录等批处理场景。这种离线部署模式对受HIPAA约束的医疗机构尤为重要，因为它消除了与云API提供商签署商业伙伴协议（BAA）的需求，患者音频从未离开组织基础设施，从而降低了合规行政障碍。