普林斯顿大学研究团队于2026年10月27日在arXiv发布了一项名为MERLIN的技术。该方法在不增加任何额外内存的前提下，显著提升了记忆高效型语言模型在长上下文任务中的准确性。在“大海捞针”检索及长上下文问答基准测试中，MERLIN的表现优于使用四倍内存预算的竞争方案。
突破线性注意力的精度瓶颈
传统Transformer模型依赖键值（KV）缓存，其内存成本随上下文长度线性增长，构成云规模部署的主要瓶颈。为此，业界转向线性注意力和状态空间模型（如Mamba-2、Gated DeltaNet），通过将序列历史压缩为固定大小的循环状态，实现O(1)内存推理。然而，这种压缩往往导致信息丢失，使得模型在从长上下文中检索特定事实时精度下降。
多状态线性注意力（MSLA）架构试图平衡两者，将上下文分割为片段并维护独立的压缩记忆状态。现有MSLA方法通常基于查询与片段键的平均对齐度（一阶矩）进行加权聚合。当关键信息隐藏在大量无关内容中时，平均值会稀释信号，导致检索失败。
MERLIN核心机制：引入二阶矩路由
MERLIN（MomEnt Routing for multi-state LINear attention）的核心创新在于追踪每个片段键的一阶和二阶矩，即均值和方差。通过引入方差信息，模型不仅能计算片段的平均相关性，还能评估相关性的离散程度。这使得模型能够识别出那些包含少量高相关词元但被大量无关词元包围的片段，从而在聚合时给予更高权重。
具体而言，MERLIN存储每个片段的均值键向量和二阶矩矩阵。在推理阶段，查询向量利用线性项（均值对齐）和二次项（方差加权）计算更丰富的对齐得分。这一机制基于经典的高斯矩匹配原理，作为“插件式”改进无缝接入任何MSLA骨干网络，无需重构架构或增加训练数据。
基准测试：零内存成本下的性能跃升
研究团队在Gated DeltaNet-1.3B和Mamba-2-780M两种骨干模型上评估了MERLIN的效果：
- 在长上下文评估套件RULER上，MERLIN使Gated DeltaNet-1.3B的综合得分提高+8.3个百分点，Mamba-2-780M提高+7.0个百分点。
- 在多任务长上下文基准LongBench上，上述两款模型的变体分别提升了+13.5%和+12.0%。
结果显示，通过更智能的路由机制，MERLIN在零额外内存成本下弥补了以往需要更大内存预算才能解决的精度差距。
应用前景与研究局限
对于内存带宽受限的端侧设备（如手机、笔记本电脑），MERLIN具有重要意义。它使得十亿参数以下的循环模型能在不牺牲过多精度的情况下处理长上下文，避免了KV缓存带来的内存压力。
尽管潜力巨大，但该研究仍存在局限。实验仅在7.8亿至13亿参数规模下进行，尚未在70亿至700亿参数的前沿模型中验证。此外，作为一篇预印本论文，其结果尚未经过独立复现和同行评审。工程师在评估部署时应将其视为一项有待进一步验证的研究成果，而非成熟的生产级技术。
MERLIN代表了内存高效长上下文模型研究浪潮中的一环。同期研究如动态线性注意力（DLA）、HOLA和MARCH等，均致力于在保持常数内存属性的同时增强压缩状态的表达能力。MERLIN通过二阶矩匹配提供了独特的解决方案，而高阶线性注意力（HLA）等后续工作则进一步探索了更高阶统计量的边际收益。
常见问题解答
线性注意力与标准注意力的区别及其内存意义？
标准Softmax注意力需存储随上下文线性增长的KV缓存，导致内存瓶颈。线性注意力通过核近似将历史压缩为固定大小的循环状态，实现O(1)内存推理。MERLIN的贡献在于改进了对这一压缩状态的读取方式，而非存储方式。
MERLIN是否需要更改架构或增加内存预算？
不需要。MERLIN是“插件式”改进，仅在现有片段状态旁存储适度的二阶统计信息，不改变底层MSLA架构的O(1)内存属性，无需重新训练或增加推理内存预算。
MERLIN是否已准备好生产部署？
尚未达到部署阶段。当前结果基于2026年10月发布的预印本，仅涵盖中小参数规模模型，且未经独立复现。在前沿大模型规模下的有效性仍有待验证。