内存估算
权重占用（GB）等于参数量（十亿级）乘以单权重比特数，再除以8。计入GGUF元数据后，Q4_K_M量化平均约为4.85位，Q8_0约为8.5位，FP16则精确为16位。在此基础上，需增加15%的运行时开销，叠加上下文长度所需的KV缓存，并预留3GB供macOS系统使用。
若内存余量不足，处理长文档时将立即触发SSD交换。由此产生的性能损耗极大，远超任何量化技术所节省的资源优势。
速度瓶颈
生成单个Token需从内存读取全部激活权重，因此“带宽除以权重大小”构成了理论速度上限。此外，还存在一项不随模型规模缩小的固定开销，涵盖采样、内核启动及框架自身消耗。每秒Token生成量由这两部分共同决定。
基于基础版M4和M5 Pro两台机器上八个密集模型的实测数据，研究团队拟合出一个高精度公式：实际带宽的90.8%加上3.3毫秒的固定开销。该模型对所有运行结果的复现误差控制在4.6%以内。
多数计算器因忽略固定开销项，导致在小型模型上的预测失效。以M5 Ultra运行Llama 3.2 3B为例，仅凭带宽预测的速度高达525 Token/秒；而引入固定开销后的预测值仅为177 Token/秒。这表明当权重大小降至约2GB时，限制速度的瓶颈已从内存总线带宽转移至每个Token的固定开销。
底层测量方法及原始JSON数据已公开于基准测试页面，相关数据及测试模型已在GitHub上遵循MIT协议开源，供用户自行验证。