继去年春季推出模块化的 Granite Switch 项目后,IBM 近日发布 Granite Switch 4.1。该版本搭载决策适配器及 OpenASR 排行榜最快的语音识别(ASR)模型,可在单一托管端点高效处理自然语言响应、通用及专用决策、语音转文本等多类任务。

核心组件与技术优势

Granite-Switch-4.1 提供 8B 和 30B 两种参数规模,整合了以下关键组件:

  1. 新版 Decision aLoRA:用于处理通用决策任务;
  2. 专用 Guardian aLoRA:负责安全相关决策,平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 及 Clef-Flash;
  3. Granite-Speech-5.0-Turbo-CTC:嵌入式的 ASR 模型,专攻转录任务,位列 OpenASR 速度榜首。

得益于基于缓存高效 Activated LoRAs 的 Switch 适配器架构,基础模型生成的 KV 缓存可复用于后续所有基于适配器的决策。结合团队对 vLLM 的低秩适配器推理加速贡献及共置 ASR 编码器,Granite Switch 4.1 能在聊天、决策和语音请求间实现极速切换。值得注意的是,尽管集成了多种功能,其在 GPU 上的显存占用与单独使用基础模型大致相当,实现了“更少 GPU,更多功能”。

性能对标与定制化潜力

与此前发布的 Granite Libraries 一脉相承,新版本允许用户通过混合搭配适配器构建自定义模型。虽然 Jev 等闭源模型侧重通用性,但专用的 granitelib 适配器在特定分类任务上表现更佳。由于共享 KV 缓存,添加专家型适配器的边际成本几乎为零,既保留了通用模型的覆盖面,又提升了关键任务的准确率。

在实际测试中,Granite-Switch-4.1-30B(冻结基础 Granite + 4 个专用 aLoRA)在完成包含 5 个步骤的真实 RAG 工作流时,速度快于竞争对手 Jev-27B(冻结基础 Qwen + 1 个通用决策 LoRA)。

此外,社区利用自定义适配器扩展模型的潜力巨大。一个仅 3B 参数的定制 Granite Switch 模型在玩经典游戏《毁灭战士》(Doom)时,决策速度高达 每秒 60-100 次,远超 Jev 报告的每秒 10 次,且能同时提供游戏旁白及问答互动。

未来规划

目前,Granite-Switch-4.1-8B 和 -30B 已以“开箱即用”形式发布。IBM 计划在未来几周内公布更多细节,并随后发布 Adapter SDK,支持在 Mellea 中训练适配器,提供教程及技术支援,进一步降低开发者构建专用分类或语言任务适配器的门槛。