LookAtMyQuant 是一款新型量化编译器,通过评估模型各存储部分在压缩时对输出的影响,为每个部分动态选择编码方案,从而在满足特定体积预算的同时将性能损耗降至最低。

在 Gemma 4 E2B 模型上,其生成的 GGUF 格式文件在同等大小下,KL 散度较 Q4_K_M 降低 12 倍。相关方法及结果已在官网公开,代码采用 MIT 许可证开源。

LookAtMyQuant 2:Qwen3.5-4B 压缩至 1.2 GB

LookAtMyQuant 2 成功将 Qwen3.5-4B 压缩至 1.23 GB(平均每权重 2.3 位)。该压缩模型能正确解答 540 道数学题中的 330 道。作为对比,Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 体积下解出 328 道,原版模型为 359 道。在保留文本的 KL 散度指标上,LookAtMyQuant 2 为 0.45 nats,优于 Bonsai 的 0.59。

该方案结合后训练量化与网格码(trellis codes),利用模型自身解题过程进行校准(数字令牌加权 10 倍),并依据 Fisher 信息按行分配比特数。随后进行 4,000 步蒸馏,每层从原始权重重新量化。完整配方及成本信息已公开,GPU 时间成本约 34 美元。

最终发布的 1.23 GB 文件名为 lmq-qwen35-4b-1.2gb,专为 Apple Silicon 运行时打包,相关配方代码已公开。

Qwen3.8-27B 压缩至 7.2 GB

沿用相同配方,Qwen3.8-27B 从 53.7 GB 压缩至 7.2 GB(平均每权重 2.1 位),并在英语散文、聊天、代码和数学数据上完成校准与蒸馏。该文件解决了 540 道数学题中的 401 道,与原版持平,且显著优于同体积的 Unsloth UD-IQ2_XXS GGUF(仅解决 348 道)。

在多项基准测试中,该压缩模型表现亦优于竞品 GGUF:HumanEval(73.8% vs 67.1%)、MMLU(78.8% vs 75.0%)和 GSM8K(94.5% vs 92.7%)。

此外,附带一个 1.02 GB 的 4-bit DSpine 草稿模型(由 tencent/Qwen3.8-27B-DSpine-b16 转换),在 Apple Silicon 上可使数学和代码任务的解码速度翻倍。

Inkling-2-Mini 压缩至 5.4 GB 和 8.9 GB

针对拥有 264 亿物理参数/54 亿激活参数的 3 倍循环 MoE 架构 thinkingmachines/Inkling-2-Mini,使用相同编译器及近端微调(SQYFR),将其从 18.89 GB 压缩至 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。压缩过程采用 4 KB SRAM 哈希块向量网格码、行网格码及尾部 lm_head 桶的 tr2 基线。

在与 BF16 教师模型相同的评估标准下:

模型文本大小 (GB)free_KLall13_KLGSM8K (200)HumanEval (164)综合得分 vs 教师
原版 BF16 教师18.890.00000.0000147 / 200 (73.5%)66 / 164 (40.2%)100.0%
LookAtMyQuant 5.4 GB5.380.08950.2871134 / 200 (67.0%)60 / 164 (36.6%)91.2%
Unsloth UD-IQ1_S7.760.08080.1236127 / 200 (63.5%)46 / 164 (28.0%)81.6%
LookAtMyQuant 8.9 GB8.870.02080.0571148 / 200 (74.0%)58 / 164 (35.4%)96.8%
Unsloth UD-Q2_K_XL9.140.04860.0811132 / 200 (66.0%)49 / 164 (29.9%)85.3%
Unsloth UD-IQ3_XXS11.660.01890.0278148 / 200 (74.0%)68 / 164 (41.5%)101.4%

在 5.38 GB 体积下,LookAtMyQuant 版本在 GSM8K 和 HumanEval 上的得分均高于体积大 41% 的 Unsloth UD-Q2_K_XL。在 8.87 GB 体积下,其在 GSM8K 上与 BF16 原版持平,且在英语/聊天/代码任务上的 KL 散度降低 2.34×,在所有 13 种语言上均低于 UD-Q2_K_XL。

两个版本均可通过 lamq 和 runtime_mlx 直接运行,并可选配 178.9 MB 的 4-bit DSpark 草稿模型。在 M5 Max 芯片上,5.4 GB 版本的串行解码速度为 73.2 tok/s(中位数 125.2 tok/s);8.9 GB 版本为 63.1 tok/s(中位数 101.3 tok/s)。

安装与 Apple Silicon 运行时

在 Apple Silicon 设备上,可直接安装运行时包(包含 mlx、mlx-lm、numpy 和 huggingface-hub,不含 PyTorch 编译器依赖):

pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git

从本地克隆仓库运行 pip install -e . 可安装 lamq 命令,或直接运行 python -m runtime_mlx 无需安装。

命令行使用: 传入本地模型文件夹或 Hugging Face 仓库 ID:

lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \ -p "What is 17 times 23? Show the steps."

lamq generate 省略 -p 时读取 stdin,支持 --raw、--system、--thinking、--temp、--mode 等参数。lamq info <model> 可在不加载权重的情况下检查模型格式和维度。

Python 集成: runtime_mlx.load 返回兼容 mlx_lm.generate 的 (model, tokenizer) 对,自动检测 opgraph-packed-1 模型及 lamq.json 导出:

from mlx_lm import generate from runtime_mlx import load model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB") prompt = tok.apply_chat_template( [{"role": "user", "content": "What is 17 times 23? Show the steps."}], add_generation_prompt=True, enable_thinking=False, ) print(generate(model, tok, prompt, max_tokens=200))

对于流式传输、多轮对话或投机解码,可使用 Runtime:

from runtime_mlx import Runtime rt = Runtime.load( "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB", drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter", ) for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256): print(chunk.text, end="", flush=True)

编译器运行示例:SmolLM2-360M

以 SmolLM2-360M 为例,需先安装依赖并下载模型及 WikiText-2 数据:

pip install -r requirements.txt python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')" python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"

测量: 每次压缩一个部分,其余保持精确,记录 KL 散度。2,312 次测量在 L40S 上耗时约 50 分钟。

python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json

分配: 在预算内为每个部分选择编码以最小化总 KL 散度,无需 GPU。此处预算设为每权重 3.044 位。

python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json

构建与评分: 按计划逐矩阵量化模型,报告 WikiText-2 困惑度及相对 KL 散度。

python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json

Qwen3.5-4B 上的 LookAtMyQuant 2 配方

每个步骤为命名作业,python run_batch.py --list 可打印命令。作业需获取 models/Qwen3.5-4B 并准备文本混合数据,生成文件存入 lm2/ 目录。

modal run --detach modal_app.py --jobs lm2Text modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions modal run --detach modal_app.py --jobs lm2RowImportance modal run --detach modal_app.py --jobs lm2Build modal run --detach modal_app.py --jobs lm2Finetune modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL

行计划: lm2Build 读取 results/compiler/rows/q35_rowplan_1p2GB.json,为 1,520 个行组分配 1 至 4 位比特数。

码本: 构建使用的四个 e-means 码本位于 cache/codes/。

近期改进: 编译器及微调脚本新增两项零字节添加项:

  • Softmax-Fisher 令牌表排名: 混合输出 Softmax-Fisher 与语料库频率以排名绑定的嵌入/输出桶。
  • 训练中期的等字节行重新分配: 测量每层连续与存储近端 KL 差距,将比特向深层未吸收层转移,保持文件大小不变。

大模型在 Modal 上的运行配置

run_batch.py 命名所有作业,modal_app.py 负责执行。网站背后运行的机器配置如下:

模型GPU时间
SmolLM2-360ML40S约 50 分钟测量(9 个并行作业)
Gemma 4 E2B (测量)H100每项作业 7–26 分钟(4 个作业)
Gemma 4 E2B (构建计划)H100每个计划 28–58 分钟

Apple Silicon 运行时读取 Lloyd–Max 和网格计划

quantize.py --export <folder> 写入 runtime_mlx/ 可读格式的计划。带网格码的计划需附加 --trellis-rows 16,8。在 Apple Silicon 上,pip install . 可安装 mlx 和 mlx-lm。

在 Gemma 4 E2B 的 2.5 GB 配置中,网格计划的 KL 散度比 Lloyd–Max 计划低 26%,但解码速度慢约 22%。

草稿模型加速:Apple Silicon 上生成速度提升 1.5 至 2 倍

runtime_mlx/fast_q35.py 直接从网格码逐个令牌解码打包的 1.2 GB Qwen3.5-4B 文件。runtime_mlx/drafter_q35.py 增加投机解码功能:小草稿模型在一次传递中提出后续七个令牌,主模型检查所有八个位置并保留匹配提议,确保文本符合贪婪解码结果。

在 M5 Max 上,使用草稿模型的生成速度提升至 2.0 倍(176 tok/s vs 88 tok/s),平均保留 4.3 个令牌。日常提示词速度提升 1.5 倍,具体增益取决于文本可预测性:代数类 2.5 倍,代码类 2.0 倍,聊天类 1.2 倍,故事类 1.05 倍。

草稿模型为基于 Qwen3.5-4B 1.2 GB 文件自身贪婪答案训练的 DSpine 模型,训练成本 42 美元。在 300 个保留提示词上,训练后草稿模型每次检查平均获得 4.65 个令牌,优于原版 DFlash 的 4.30 个。

pack_drafter.py 以每权重 4 位存储草稿模型,大小 464 MB(16 位时为 1.83 GB)。在 60 个保留提示词上,4 位草稿模型每次检查保留 4.35 个令牌,文本内容一致。

文件结构概览

路径内容说明
compiler.py测量与分配
quantize.py构建程序或计划,并进行评分
finetune.py, finetune_lib.py以码本结束的微调,及针对 Qwen3.5 的快速线性注意力规则
runtime_mlx/runtime.py, runtime_mlx/cli.py可安装的 Apple Silicon 运行时包,统一 Python API 及 CLI
opgraph/语法定义:将模型视为张量网络及其重写规则
site/, site2/网站文件,可通过 python3 -m http.server 8000 本地运行

测试要求

每个测试文件均可从仓库根目录独立运行,全部七项测试可在不到一分钟内完成。测试需要 SmolLM2-360M 和 WikiText-2 数据。

本仓库不包含的内容

  • 模型权重: 所有内容均可从 Hugging Face 下载。
  • 基准测试副本: eval_tasks.py 会下载其基准测试,离线机器需预先缓存。
  • 组装 site/data.json 的脚本: 这是一组一次性步骤,源数据均在 results/ 中。
  • LookAtMyQuant 2 的密集权重和结果文件: 1.2 GB 文件是打包格式的发布版,密集权重未公开发布。
  • 16 位草稿模型: 训练后的草稿模型为 1.8 GB,未公开发布;仅提供 4 位发布版。