Liquid AI 今日正式发布 LFM3 系列,这是一组包含六个开放权重模型的家族,旨在将文本、视觉、音频及结构化决策能力整合至一个仅含 17 亿参数的单一共享骨干网络中。目前,所有模型已通过 Hugging Face 开放下载,并支持在单张消费级 GPU 上进行微调。这是该公司自 2025 年开源 LFM2 以来最重要的更新,标志着其历经 14 种设备与后端组合架构搜索后的商业化落地。

核心突破:小参数实现智能体性能倍增

基准测试数据显示,LFM3-1.7B 在 WebArena-Verified 测试中得分 38.42,较前代 LFM2.5-2.6B 的 3.02 分实现了 12.7 倍的提升,尽管其参数量减少了 35%。这一性能飞跃并非源于规模扩张,而是得益于全新的三机制架构以及专门针对智能体任务构建的 3.5 万亿 token 中期训练阶段。

架构革新:三混合层设计

LFM3 的核心在于其三混合层设计,填补了局部卷积与全局注意力之间的中等范围上下文捕获空白。其 24 层结构由以下三种机制组成:

  • 13 个门控短卷积层:负责局部模式识别,具备 O(1) 状态,在 CPU 和 NPU 上速度最快,不产生键值(KV)缓存。
  • 5 个滑动窗口注意力层(SWA):拥有 256 个 token 的窗口,提供有限的 O(256) KV 缓存,捕获局部至中等范围上下文。
  • 6 个全局注意力层:提供完整的 O(n) KV 缓存,用于处理长程推理,但仅在部分层级启用。

这种设计使 LFM3 的总 KV 缓存占用降至同等深度标准 Transformer 的约 27%。此外,模型还引入了头级门控注意力、部分 RoPE(旋转位置编码)以及三明治归一化三项优化,进一步稳定训练并提升量化质量。

硬件在环:面向实际设备的架构搜索

层比例并非手工设定,而是通过 Liquid AI 的 STAR 硬件在环架构搜索确定。团队在手机、Raspberry Pi 5、笔记本电脑、云 CPU/GPU 及高通 Hexagon NPU 等 14 种组合上评估延迟与质量的权衡,确保模型在目标设备上而非仅在数据中心 GPU 上达到最优运行效果。

基础模型 LFM3-1.7B-Base 基于 22 万亿 token 预训练,并在最后 3.5 万亿 token 的中期训练阶段聚焦智能体轨迹、工具调用及长上下文序列,将上下文窗口扩展至 256K token。在 4-bit 精度下,文本模型内存占用仅约 1 GB,可运行于中高端智能手机。

多模态与决策能力全面升级

视觉语言模型:LFM3-VL-2B 采用定制的 1.64 亿参数视觉编码器,计算量比 SigLIP2 少 3 倍。其在 62 项视觉基准测试中的平均分从 LFM2.5-VL-3B 的 57.6 提升至 71.4,参数量却从 31 亿降至 19 亿。Liquid AI 称其性能与参数量大六倍的 Gemma 4 12B 相当(自我报告)。该模型还支持视频输入及思维链推理。

机器人技术:基于 LFM3-VL-2B,Liquid AI 开发了编排器、导航器及视觉-语言-动作(VLA)模型。VLA 模型在 LIBERO 基准套件中平均成功率达 96.2%,在 Jetson AGX Orin 上的动作生成时间低于 50 毫秒,满足实时控制需求(自我报告)。

音频与全能模型:LFM3-Audio-2B 支持流式解码,首 token 生成时间低至 50 毫秒,语音质量基准得分提升 19%。LFM3-Omni-2B 作为首个全能模型,可同时处理文本、图像、视频和音频输入,Liquid AI 称其在多项基准测试中优于高达 107 亿参数的模型(自我报告)。

结构化决策:d1 系列模型不生成开放式文本,而是在单次前向传播中输出结构化决策及校准概率。d1-2B 参数量减少三分之一,内部基准得分从 64.0 提升至 75.5;d1-omni-2B 则扩展了对音频输入的支持。

开发者资源与注意事项

所有六个 LFM3 模型均已作为开放权重在 Hugging Face 发布,兼容 transformers 库。Liquid AI 还提供了 10 个 Colab 笔记本,涵盖监督微调(SFT)、直接偏好优化(DPO)等流程,示例任务包括文档 JSON 提取及智能家居命令映射。

需要指出的是,文中引用的所有性能数据均由 Liquid AI 自我报告,截至发稿时,尚未有第三方研究人员对 LFM3 进行独立复现或评估。