Fireworks AI 副总裁 Rob Ferguson 直言，企业若在人工智能推理中未采用多模型组合策略，本质上是在浪费资金。尽管 Fireworks AI 支持在自有数据中心运行 AI 模型，但 Ferguson 从经济角度分析指出，这种做法并不划算。
Ferguson 表示，GPU 硬件成本高昂，若无法保持满负荷运转，将造成极大的资源浪费。他指出，一万张 GPU 代表着十亿美元的资金投入，“你绝不想让这些设备闲置。”针对具有高度敏感工作负载的企业，Fireworks 提供名为“Sovereign”的服务，并配合微软等合作伙伴满足需求，但他强调，大多数推理任务并不需要如此高等级的数据保护。
多模型路由优于单一模型
Ferguson 强调，当前的最佳实践是构建模型组合（portfolio）。他直言，全球最强的 AI 能力并非某家公司的独家产品，而是通过智能路由在不同模型间切换的组合。“事实证明，在几个模型之间进行路由，总是比依赖单一模型更好。”
与 Together AI、Baseten 和 DeepInfra 等竞争对手类似，Fireworks AI 通过其 Nexus 平台和 API 实现这一功能。作为托管推理平台，它会将推理任务分配给最适合处理该任务的模型、前沿模型订阅或 API。这并非简单的网关式路由，系统会对输入任务进行评估，并导向最优模型。
“我们构建定制化的路由器，”Ferguson 解释道，“我们的自动模型会持续更新，评估任务难度以及模型间的特性差异。例如，Kimi 在 JavaScript 方面可能略优于 Python，我们会利用这些细微差别进行精准匹配。”
系统工程优势与成本控制
Ferguson 认为，公司的核心竞争力源于创始人在 PyTorch 开源机器学习库方面的深厚背景，这使其拥有一支顶尖的工程团队。他强调，训练和推理过程中的数值精度至关重要。“当使用通常被称为‘专家混合’（Mixture of Experts）的模型时，每个专家对应不同的机器。如果在训练过程中没有精确回到正确的机器，回答方式可能会产生细微偏差。因此，我们必须精通拓扑结构构建、浮点精度处理以及复杂的多供应商路由网络。”
相比之下，超大规模云厂商仅提供 GPU 算力，而如何最大化利用率并保持模型精度和速度，则是托管平台的优势所在。Ferguson 指出，AI 领域的问题最终都回归到经济学层面：企业需要厘清多少请求可以发送给缓存模型，多少发送给开源模型，以及何时需要专用模型。
隐藏的成本与数据价值
Ferguson 批评前沿模型公司未透明披露缓存率。他举例称，在与一家数据科学公司合作时，Fireworks 缓存了约 90% 的任务，而 Anthropic 的 Opus 模型缓存率仅为 30%。“这意味着大量的 AI 返工（rework），而返工是 AI 最大的成本来源。如果未命中缓存，成本将极其惊人。Token 成本并非真实成本，单次任务的成本才是关键，而这往往被掩盖了。”
此外，他还提醒企业关注数据价值。许多公司严重低估自身数据的价值，而部分模型公司存在记忆用户数据的行为。Fireworks AI 实行零数据保留政策，但 Ferguson 建议，如果其他公司利用用户数据进行训练，用户应当获得相应的补偿。
最后，Ferguson 强调速度常被低估，快速的响应能显著改变工作方式。关于模型集成（即模型路由）的优势，他声称账单至少可减少 50%，甚至低至原来的六分之一到八分之一。“只要客户同时使用闭源和开源模型的组合，我们就能保证账单立即减半。接下来的问题是，我们能否引导客户使用更多的模型资源。”