欧洲开源数据库服务商Aiven透露，通过转向开放权重模型并实施内部LLM网关策略，其AI Token成本已大幅削减80%。目前，该公司正计划将这一网关方案作为服务提供给外部客户，以帮助开发者灵活切换模型并管控成本。
混合模型策略：规划与执行分离
Aiven战略副总裁Ville Lehto表示，面对高昂的Token账单，公司并未单纯设定预算上限，而是选择优化使用效率。其核心策略是将工作流拆解：利用OpenAI、Anthropic等公司的“前沿模型”进行关键的任务规划，而在实际执行环节则大量采用成本更低的“开放权重模型”。
“大部分工作由开放权重模型完成，最关键环节由前沿模型规划，这是目前最成功的模式。”Lehto指出。这种混合架构既保留了前沿模型的推理优势，又通过规模化使用低成本模型实现了显著降本。
自研网关：无缝切换多元模型
为解决跨云平台兼容及模型管理难题，Aiven基于开源框架LiteLLM构建了内部网关。该网关集成了预算管理、访问控制等功能，支持在租赁GPU上运行或自托管多种开放权重模型，包括Meta的Llama系列、阿里云Qwen、DeepSeek、Mistral AI以及Google Gemma等。
Lehto强调，尽管开放权重模型在单项性能上可能与前沿模型存在差距，但从“每项任务成本”指标来看，其经济效益显著。特别是针对少数重度用户，通过引导其使用开放权重模型，成功实现了约80%的支出下降。
商业化前景：顺应企业降本需求
作为一家以托管开源数据库起家的芬兰公司，Aiven近年来逐步拓展至机器学习基础设施领域。Lehto认为，将网关能力产品化符合其开源基因及企业客户需求。目前，Aiven的客户已涵盖Conrad、Dojo、Sophos及Avaya等多家知名企业。随着开发者对降低成本日益关注，Aiven有望成为众多助力组织优化AI支出的供应商之一。