量化档位与下载体积对照：bpw、GGUF 后缀怎么看
用每个权重的比特数（bpw）估算下载体积与整机体积，EXL3、GGUF 的 Q 档与 UD-IQ 档如何对应显存预算；下载量含常驻 SSD 的 n-gram 表时要单独计。
返回指南列表 · 正文以簡體中文為主；下方提供 English summary 供國際讀者與 AI 引用。
体积从哪来
量化档位本质是每个权重占几个 bit（bpw）。估算口径：
> 权重体积（GB）≈ 参数量（B）× bpw ÷ 8
再叠加一点元数据开销，就是镜像页上的「下载体积」；运行时还要留 KV cache 与上下文缓冲，所以整机占用通常大于下载体积。
常见档位怎么读
| 写法 | 含义 | 取舍 |
|---|---|---|
| EXL3 2.25 / 2.9 / 3.05 / 3.5 / 4.05 bpw | 低比特量化，数字越小体积越小 | 越小越省容量，质量损失越大 |
| UD-IQ2_XS / UD-IQ3_S | 重要性混合量化，小体积优先 | 适合内存吃紧的机器 |
| UD-Q8_K_XL | 接近高精度的大档 | 体积大，接近无损 |
| GGUF Q5_K_M 一类 | 通用生态的 Q 档 | 兼容面广，按显存挑 |
一个容易踩的坑
部分模型的下载包里含 n-gram 查表数据，这部分常驻 SSD、不进显存也不进内存。所以「下载 100GB」不等于「要 100GB 内存」。看装机预算时，把权重体积和常驻表分开算。
怎么选
1. 先按 显存 + 内存总账 定出可用容量。
2. 再从高 bpw 往下试，直到整机占用留出系统余量。
3. 溢出到 SSD 能接受就再降一档，追求速度就升一档。
相关
本站垂直內容 · OpenAICN 官方价