随着 Ollama 和 LM Studio 等推理平台的普及，本地运行大型语言模型（LLM）的用户规模创下新高。尽管云端 AI 订阅服务具备一定优势，但出于对月费成本、使用限额及数据隐私的考量，越来越多用户转向本地部署。然而，便捷的图形化界面往往以牺牲控制权为代价，默认参数设置常成为性能瓶颈。
llama.cpp：本地推理的性能金标准
Ollama 和 LM Studio 虽以零摩擦设置著称，但其底层均依赖 llama.cpp 引擎。这些平台隐藏或未提供关键的命令行标志（flags），限制了用户对 GPU 显存分配、上下文窗口及优化功能的精细控制。相比之下，直接使用 llama.cpp 能释放更大潜力，不仅能在显存受限情况下运行更大模型，还能显著提升推理速度，甚至替代昂贵的云端订阅。
MoE 模型优化：专家层卸载至系统内存
对于混合专家（MoE）模型，如 Qwen3.6-35B-A3B，其机制允许仅激活部分“专家”层处理特定 Token。利用这一特性，可通过 llama.cpp 的 --n-cpu-moe 参数将部分专家层从 GPU 卸载至 CPU 系统内存，从而突破显存限制。
实测数据显示，在搭载 RTX 3070 移动显卡（8GB 显存）和 32GB DDR4-3200 内存的设备上，运行量化格式为 UD-IQ4_XS 的 Qwen3.6-35B-A3B 模型时：未启用卸载的情况下，生成速度仅为 4.02 token/秒；将 --n-cpu-moe 设置为 28 后，速度飙升至 32.82 token/秒，性能提升约八倍。目前，LM Studio 界面已支持通过滑块管理此设置，而 Ollama 尚不支持该功能。
稠密模型加速：引入推测解码技术
对于 Gemma 4 12B 等稠密模型，因每次前向传播需访问全部权重，无法通过层卸载优化。此时，推测解码（Speculative Decoding）成为关键解决方案。该技术利用一个小尺寸的“草稿模型”预先预测后续 Token，再由主模型一次性审查并修正，从而大幅减少计算开销。
以 Gemma 4 12B QAT 模型为例，搭配谷歌提供的 242MB MTP 草稿模型，并将上下文长度设为 32K 时：未使用草稿模型的基准速度为 75 token/秒；启用配对后，平均生成速度提升至 179 token/秒。需注意，草稿模型会占用少量显存，建议预留数百 MB 空间。
除了专家卸载和推测解码，KV Cache 量化、上下文调整及量化格式选择等策略，也为本地 LLM 优化提供了广阔空间。通过精细配置，用户可在无需联网且不上传数据的前提下，获得媲美云端的高效推理体验。