
LookAtMyQuant 是一款新型量化编译器,通过评估模型各存储部分在压缩时对输出的影响,为每个部分动态选择编码方案,从而在满足特定体积预算的同时将性能损耗降至最低。
在 Gemma 4 E2B 模型上,其生成的 GGUF 格式文件在同等大小下,KL 散度较 Q4_K_M 降低 12 倍。相关方法及结果已在官网公开,代码采用 MIT 许可证开源。
LookAtMyQuant 2:Qwen3.5-4B 压缩至 1.2 GB
LookAtMyQuant 2 成功将 Qwen3.5-4B 压缩至 1.23 GB(平均每权重 2.3 位)。该压缩模型能正确解答 540 道数学题中的 330 道。作为对比,Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 体积下解出 328 道,原版模型为 359 道。在保留文本的 KL 散度指标上,LookAtMyQuant 2 为 0.45 nats,优于 Bonsai 的 0.59。
该方案结合后训练量化与网格码(trellis codes),利用模型自身解题过程进行校准(数字令牌加权 10 倍),并依据 Fisher 信息按行分配比特数。随后进行 4,000 步蒸馏,每层从原始权重重新量化。完整配方及成本信息已公开,GPU 时间成本约 34 美元。
最终发布的 1.23 GB 文件名为 lmq-qwen35-4b-1.2gb,专为 Apple Silicon 运行时打包,相关配方代码已公开。
Qwen3.8-27B 压缩至 7.2 GB
沿用相同配方,Qwen3.8-27B 从 53.7 GB 压缩至 7.2 GB(平均每权重 2.1 位),并在英语散文、聊天、代码和数学数据上完成校准与蒸馏。该文件解决了 540 道数学题中的 401 道,与原版持平,且显著优于同体积的 Unsloth UD-IQ2_XXS GGUF(仅解决 348 道)。
在多项基准测试中,该压缩模型表现亦优于竞品 GGUF:HumanEval(73.8% vs 67.1%)、MMLU(78.8% vs 75.0%)和 GSM8K(94.5% vs 92.7%)。
此外,附带一个 1.02 GB 的 4-bit DSpine 草稿模型(由 tencent/Qwen3.8-27B-DSpine-b16 转换),在 Apple Silicon 上可使数学和代码任务的解码速度翻倍。
Inkling-2-Mini 压缩至 5.4 GB 和 8.9 GB
针对拥有 264 亿物理参数/54 亿激活参数的 3 倍循环 MoE 架构 thinkingmachines/Inkling-2-Mini,使用相同编译器及近端微调(SQYFR),将其从 18.89 GB 压缩至 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。压缩过程采用 4 KB SRAM 哈希块向量网格码、行网格码及尾部 lm_head 桶的 tr2 基线。
在与 BF16 教师模型相同的评估标准下:
| 模型 | 文本大小 (GB) | free_KL | all13_KL | GSM8K (200) | HumanEval (164) | 综合得分 vs 教师 |
|---|---|---|---|---|---|---|
| 原版 BF16 教师 | 18.89 | 0.0000 | 0.0000 | 147 / 200 (73.5%) | 66 / 164 (40.2%) | 100.0% |
| LookAtMyQuant 5.4 GB | 5.38 | 0.0895 | 0.2871 | 134 / 200 (67.0%) | 60 / 164 (36.6%) | 91.2% |
Unsloth UD-IQ1_S | 7.76 | 0.0808 | 0.1236 | 127 / 200 (63.5%) | 46 / 164 (28.0%) | 81.6% |
| LookAtMyQuant 8.9 GB | 8.87 | 0.0208 | 0.0571 | 148 / 200 (74.0%) | 58 / 164 (35.4%) | 96.8% |
Unsloth UD-Q2_K_XL | 9.14 | 0.0486 | 0.0811 | 132 / 200 (66.0%) | 49 / 164 (29.9%) | 85.3% |
Unsloth UD-IQ3_XXS | 11.66 | 0.0189 | 0.0278 | 148 / 200 (74.0%) | 68 / 164 (41.5%) | 101.4% |
在 5.38 GB 体积下,LookAtMyQuant 版本在 GSM8K 和 HumanEval 上的得分均高于体积大 41% 的 Unsloth UD-Q2_K_XL。在 8.87 GB 体积下,其在 GSM8K 上与 BF16 原版持平,且在英语/聊天/代码任务上的 KL 散度降低 2.34×,在所有 13 种语言上均低于 UD-Q2_K_XL。
两个版本均可通过 lamq 和 runtime_mlx 直接运行,并可选配 178.9 MB 的 4-bit DSpark 草稿模型。在 M5 Max 芯片上,5.4 GB 版本的串行解码速度为 73.2 tok/s(中位数 125.2 tok/s);8.9 GB 版本为 63.1 tok/s(中位数 101.3 tok/s)。
安装与 Apple Silicon 运行时
在 Apple Silicon 设备上,可直接安装运行时包(包含 mlx、mlx-lm、numpy 和 huggingface-hub,不含 PyTorch 编译器依赖):
从本地克隆仓库运行 pip install -e . 可安装 lamq 命令,或直接运行 python -m runtime_mlx 无需安装。
命令行使用: 传入本地模型文件夹或 Hugging Face 仓库 ID:
lamq generate 省略 -p 时读取 stdin,支持 --raw、--system、--thinking、--temp、--mode 等参数。lamq info <model> 可在不加载权重的情况下检查模型格式和维度。
Python 集成: runtime_mlx.load 返回兼容 mlx_lm.generate 的 (model, tokenizer) 对,自动检测 opgraph-packed-1 模型及 lamq.json 导出:
对于流式传输、多轮对话或投机解码,可使用 Runtime:
编译器运行示例:SmolLM2-360M
以 SmolLM2-360M 为例,需先安装依赖并下载模型及 WikiText-2 数据:
测量: 每次压缩一个部分,其余保持精确,记录 KL 散度。2,312 次测量在 L40S 上耗时约 50 分钟。
分配: 在预算内为每个部分选择编码以最小化总 KL 散度,无需 GPU。此处预算设为每权重 3.044 位。
构建与评分: 按计划逐矩阵量化模型,报告 WikiText-2 困惑度及相对 KL 散度。
Qwen3.5-4B 上的 LookAtMyQuant 2 配方
每个步骤为命名作业,python run_batch.py --list 可打印命令。作业需获取 models/Qwen3.5-4B 并准备文本混合数据,生成文件存入 lm2/ 目录。
行计划: lm2Build 读取 results/compiler/rows/q35_rowplan_1p2GB.json,为 1,520 个行组分配 1 至 4 位比特数。
码本: 构建使用的四个 e-means 码本位于 cache/codes/。
近期改进: 编译器及微调脚本新增两项零字节添加项:
- Softmax-Fisher 令牌表排名: 混合输出 Softmax-Fisher 与语料库频率以排名绑定的嵌入/输出桶。
- 训练中期的等字节行重新分配: 测量每层连续与存储近端 KL 差距,将比特向深层未吸收层转移,保持文件大小不变。
大模型在 Modal 上的运行配置
run_batch.py 命名所有作业,modal_app.py 负责执行。网站背后运行的机器配置如下:
| 模型 | GPU | 时间 |
|---|---|---|
| SmolLM2-360M | L40S | 约 50 分钟测量(9 个并行作业) |
| Gemma 4 E2B (测量) | H100 | 每项作业 7–26 分钟(4 个作业) |
| Gemma 4 E2B (构建计划) | H100 | 每个计划 28–58 分钟 |
Apple Silicon 运行时读取 Lloyd–Max 和网格计划
quantize.py --export <folder> 写入 runtime_mlx/ 可读格式的计划。带网格码的计划需附加 --trellis-rows 16,8。在 Apple Silicon 上,pip install . 可安装 mlx 和 mlx-lm。
在 Gemma 4 E2B 的 2.5 GB 配置中,网格计划的 KL 散度比 Lloyd–Max 计划低 26%,但解码速度慢约 22%。
草稿模型加速:Apple Silicon 上生成速度提升 1.5 至 2 倍
runtime_mlx/fast_q35.py 直接从网格码逐个令牌解码打包的 1.2 GB Qwen3.5-4B 文件。runtime_mlx/drafter_q35.py 增加投机解码功能:小草稿模型在一次传递中提出后续七个令牌,主模型检查所有八个位置并保留匹配提议,确保文本符合贪婪解码结果。
在 M5 Max 上,使用草稿模型的生成速度提升至 2.0 倍(176 tok/s vs 88 tok/s),平均保留 4.3 个令牌。日常提示词速度提升 1.5 倍,具体增益取决于文本可预测性:代数类 2.5 倍,代码类 2.0 倍,聊天类 1.2 倍,故事类 1.05 倍。
草稿模型为基于 Qwen3.5-4B 1.2 GB 文件自身贪婪答案训练的 DSpine 模型,训练成本 42 美元。在 300 个保留提示词上,训练后草稿模型每次检查平均获得 4.65 个令牌,优于原版 DFlash 的 4.30 个。
pack_drafter.py 以每权重 4 位存储草稿模型,大小 464 MB(16 位时为 1.83 GB)。在 60 个保留提示词上,4 位草稿模型每次检查保留 4.35 个令牌,文本内容一致。
文件结构概览
| 路径 | 内容说明 |
|---|---|
compiler.py | 测量与分配 |
quantize.py | 构建程序或计划,并进行评分 |
finetune.py, finetune_lib.py | 以码本结束的微调,及针对 Qwen3.5 的快速线性注意力规则 |
runtime_mlx/runtime.py, runtime_mlx/cli.py | 可安装的 Apple Silicon 运行时包,统一 Python API 及 CLI |
opgraph/ | 语法定义:将模型视为张量网络及其重写规则 |
site/, site2/ | 网站文件,可通过 python3 -m http.server 8000 本地运行 |
测试要求
每个测试文件均可从仓库根目录独立运行,全部七项测试可在不到一分钟内完成。测试需要 SmolLM2-360M 和 WikiText-2 数据。
本仓库不包含的内容
- 模型权重: 所有内容均可从 Hugging Face 下载。
- 基准测试副本:
eval_tasks.py会下载其基准测试,离线机器需预先缓存。 - 组装
site/data.json的脚本: 这是一组一次性步骤,源数据均在results/中。 - LookAtMyQuant 2 的密集权重和结果文件: 1.2 GB 文件是打包格式的发布版,密集权重未公开发布。
- 16 位草稿模型: 训练后的草稿模型为 1.8 GB,未公开发布;仅提供 4 位发布版。