本地AI领域迭代迅猛，数月前的llama.cpp版本可能已显滞后。新功能的引入不断突破硬件性能上限，直接决定模型是“可用”还是“高效”。以谷歌开源的Gemma 4为例，今年5月其推出多令牌预测（Multi-Token Prediction, MTP）草稿模型，llama.cpp随后于6月跟进支持。实测显示，仅加载一个242MB的草稿模型，即可在RTX 4070 Ti Super上将Gemma 4 12B的生成速度从每秒约75个令牌提升至平均179个令牌，性能增幅高达137%。
基线测试：75令牌/秒的性能瓶颈
为确立性能基准，测试平台选用配备RTX 4070 Ti Super（16GB显存）、Ryzen 5 7600X处理器及32GB DDR5内存的设备。运行环境为llama.cpp b11927构建版，部署Unsloth的Gemma 4 12B QAT量化版本（UD-Q4_K_XL），设置32K上下文、Flash Attention及全GPU负载，采样参数遵循谷歌推荐配置（温度1.0，top-p 0.95，top-k 64），并关闭思维链模式以精确统计输出令牌。
测试涵盖三类典型工作负载：生成虚构PC硬件组件的JSON列表、编写Python重复文件查找工具、撰写600字短篇故事。基线测试结果显示，三项任务的平均生成速度约为75令牌/秒，其中JSON任务为74.7，代码任务为75.5，散文任务为75.8。
MTP机制：以小博大的投机解码
多令牌预测（MTP）基于投机解码（Speculative Decoding）架构，将目标大模型与协同训练的小型草稿模型配对。其核心逻辑在于：由轻量级草稿模型预先猜测后续多个令牌，目标大模型则并行验证这些猜测。若猜测被拒绝，目标模型仍会生成正确令牌，确保计算无浪费，草稿模型随即基于正确结果继续预测。
启用该功能需下载与主模型匹配的草稿模型（如mtp-gemma-4-12B-it.gguf），并在启动llama-server时添加四个关键参数：-md加载草稿模型，-ngld 99将其置于GPU，--spec-type draft-mtp指定MTP头部模式，以及--spec-draft-n-max 3限制每轮猜测次数为3次。
实测效果：结构化任务性能近三倍增长
开启MTP后，所有测试任务速度显著提升。由于JSON和代码包含大量可预测的括号、字段名及样板结构，其生成速度跃升至200令牌/秒左右，增幅分别达到167%和172%。即便是预测难度较高的散文创作，速度也提升了73%，从75.8令牌/秒增至131.3令牌/秒。整体平均吞吐量从75.3令牌/秒提升至178.7令牌/秒。
低成本优化建议
对于在llama.cpp中运行Gemma 4的用户，启用MTP是提升推理速度最直接的手段。只需更新软件、下载匹配草稿模型并调整启动参数即可。值得注意的是，密集模型（Dense Models）从此技术中获益最大；谷歌指出，混合专家（MoE）模型在单用户场景下的收益相对有限。尽管具体增益因硬件而异，但从高端RTX 5090到入门级GT 1030均有性能提升报告，尝试成本极低且收益显著。