今日,Liquid AI正式发布新一代液态基础模型(LFMs)——LFM3。该模型家族专为“专用智能”打造,原生具备多模态能力,将文本、视觉、音频、全模态和决策模型整合至同一共享骨干网络。首批发布的LFM3模型参数量均在20亿级别左右。

基于全新的混合架构和22T token的预训练数据,LFM3在保持高效性的同时,表达能力显著超越前代LFM2。其小型快速模型增加了容量,成为专用智能的理想起点:支持本地微调,可在任意设备上运行,并能胜任特定任务的专家角色。

目前,LFM3的基础模型和后训练模型均采用开放权重,已在Hugging Face、Liquid Playground及Liquid AI API上线。

新架构:更强表达力与端侧效率

LFM3延续了LFM2短卷积与注意力机制混合的设计思路,但针对代理(Agentic)用例进行了重新架构搜索,以提升每参数能力和长上下文推理速度。硬件闭环测试范围从LFM2时期的2种设备扩展至14种组合,涵盖Samsung Galaxy S26 Ultra、OnePlus 15、树莓派5、Apple M4 Max、AMD Ryzen AI以及各类云CPU、GPU和高通Hexagon NPU。

架构核心改进包括:

  • 三混合层混合:结合门控短卷积、滑动窗口注意力(SWA)和全局注意力。在24个图层中,13个为卷积层,5个为SWA层,6个为全局注意力层。卷积核大小从3增至7。
  • 按头门控注意力:通过Sigmoid门控缩放输出,抑制激活异常值,提升量化效果和训练稳定性。
  • 部分RoPE:全局注意力层仅旋转高频一半,保留低频不旋转,以匹配远近内容;SWA层保持完整RoPE。
  • 三明治归一化:对每个块的输入和输出进行归一化,稳定激活值尺度。

训练方面,LFM3-1.7B-Base在22T token上预训练,数据混合增加了科学论文、代码、数学内容及代理轨迹。最后3.5T token为中期训练阶段,上下文窗口扩展至256K token。

多模态家族:六大模型覆盖全场景

首批LFM3家族包含六个模型,均源自LFM3-1.7B-Base骨干网络,参数量约20亿。除覆盖文本、视觉、音频和全模态外,还包含两个专门化的决策模型。

文本模型:LFM3-1.7B

面向本地代理和专用应用,拥有256K token上下文窗口。经后训练支持Hermes Agent、Pi等框架,可执行整理收件箱、管理日历、网络研究等任务。在BFCL和ToolSandbox基准测试中,其指令遵循和函数调用能力领先,并在WebArena-Verified和AutomationBench长任务中击败Qwen3.5-9B。

端侧性能方面,LFM3-1.7B在llama.cpp Q4_0量化下,解码速度比竞品快1.8至2.8倍,内存占用最低。128K token上下文仅需1.6 GB KV缓存。在单张NVIDIA B300上,日生成token量可达36亿。

视觉模型:LFM3-VL-2B

支持视频输入、逐步推理和空间具身推理。在62个视觉基准测试中,得分显著高于同等规模模型,性能接近Gemma 4 12B,超越Gemini 3.5 Flash Lite。端侧运行具备最高预填充吞吐量和最低内存占用。自研视觉编码器计算量减少3倍,FLOPs减少2.2倍。

音频模型:LFM3-Audio-2B

紧凑的全功能音频模型,支持18种语言的语音聊天、转录、合成及翻译。引入自研音频编码器和LiquidCodec标记器,首个token延迟低至50毫秒,支持流式解码和多token并行预测,对话响应流畅。

全模态模型:LFM3-Omni-2B

首个结合视觉、音频和语言的全模态模型,支持语音视觉问答、视听视频理解和多模态工具调用。可在资源受限环境中部署,适用于个性化教育、车载助手等场景。

决策模型:d1-2B与d1-Omni-2B

两类模型不生成文本答案,而是在毫秒内做出结构化决策。支持点选、读取、估算和选择等类型化答案。d1-2B处理文本和图片,d1-Omni-2B额外支持音频输入。两者参数量较前代d1-3B减少三分之一,可在端侧将工单、文档等转化为结构化决策。

专用智能:微调与机器人应用

LFM3的小尺寸使其易于通过专有数据微调。演示显示,LFM3-VL-2B经短时间微调后,在风能涡轮机叶片缺陷分类任务中,准确率从不足10%提升至67%,远超GPT-6 Luna。此外,该模型还可作为机器人控制器基础,通过微调实现高层工具编排、视觉语言导航和底层操作,在LIBERO套件中平均成功率达96.2%。

生态与合作

LFM3原生支持llama.cpp、MLX和vLLM,兼容Apple、AMD、NVIDIA和高通硬件。Day-0启动合作伙伴包括Ambarella、AMD、Arm、Intel、NVIDIA、OpenRouter、Qualcomm和Vercel。Mercedes-Benz和Shopify参与了发布前测试。