INT4 量化推理实战:精度补偿与吞吐提升的取舍

目录

热点引入:低比特量化走到台前

2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束,单纯靠堆硬件已经不划算,低比特量化成了绕不开的一条路。

INT8 量化早就不是新鲜事,但 INT4 的「甜点区」更诱人——权重体积直接砍到 FP16 的四分之一,显存带宽压力骤降,同样一张卡能装下更大的模型或 serv 更多并发。代价是精度损失明显放大,尤其在激活值上。于是问题从「要不要量化」变成了「如何在可接受的精度损失下把吞吐榨到最大」。

本文聚焦三个问题:INT4 量化的数学原理与粒度选择、为什么权重与激活同时量化(W4A4)这么难、以及有哪些精度补偿手段和部署实操。

技术原理:从 scale / zero-point 到 W4A4

量化的本质是把高精度浮点数映射到低比特整数。最常用的是线性量化(仿射量化):

r = s × (q - z)      # 反量化:由整数 q 还原实数 r
q = clip(round(r / s) + z, qmin, qmax)   # 量化

其中 s 是 scale(缩放因子),z 是 zero-point(零点),q 是量化后的整数。对 INT4,qmin/qmax 通常取 [-8, 7](有符号)或 [0, 15](无符号)。

对称与非对称是两种取值方式。对称量化固定 z = 0,只需存 s,计算简单、硬件友好,适合权重这类近似零均值分布;非对称量化保留 z,能精确覆盖非零均值的数据(如 ReLU 后的激活),但都要多算一次加法。

粒度直接决定精度与开销的平衡:

  • per-tensor:整个张量一套 (s, z),开销最小,精度最差;
  • per-channel:权重的每个输出通道一套参数,能适应不同通道的量级差异,是权重量化的主流;
  • per-group:把通道再切成小组(如 32/128 个元素)各配一套参数,精度更高,参数存储开销也更大,INT4 时代尤为常用。

INT4 相比 INT8,收益是显存和带宽近乎减半,风险是量化误差成倍放大。难点集中在 W4A4:权重量化已是常规操作,激活却会因为离群值(outlier)而苦不堪言——激活分布里少数极端大值会把 scale 撑得很大,导致绝大多数正常值被挤到很少的几个整数桶里,精度崩塌。这是 W4A4 的核心障碍。

应对手段有几条主线:

  • QAT(量化感知训练):训练时插入伪量化节点,让模型主动适应量化误差,精度最好但要重训,成本高;
  • GPTQ / AWQ 类校准:训练后量化(PTQ),用少量校准数据自适应地调整权重、补偿误差。AWQ 识别「显著权重通道」并保护它们,是权重量化的实用选择;
  • 离群值处理:把离群通道单独保留高精度(混合精度),或对激活做平滑变换,把难度从激活转移到权重;
  • 可学习等价变换:如 FlatQuant 的思路——在量化前对权重和激活施加一系列数学上等价的可学习变换(如旋转、缩放),把数据分布「压平」得更适合低比特表示,推理时再把变换absorb进计算,不改变模型输出。这是近年来 W4A4 精度提升的重要方向,且不需要重训主干。

实操:PyTorch 实现 per-channel INT4 量化

下面是一个最小的 per-channel 对称量化与反量化示例,帮助理解底层机制(生产环境请用成熟内核)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
import torch

def quantize_per_channel_int4(w: torch.Tensor):
    """w: shape [out_features, in_features],按输出通道量化到 [-8, 7]。"""
    # 每个输出通道单独算 scale
    absmax = w.abs().amax(dim=1, keepdim=True).clamp(min=1e-8)
    scale = absmax / 7.0                      # 对称量化,z=0
    q = torch.clamp(torch.round(w / scale), -8, 7).to(torch.int8)
    return q, scale

def dequantize_per_channel_int4(q: torch.Tensor, scale: torch.Tensor) -> torch.Tensor:
    return q.to(torch.float32) * scale

w = torch.randn(256, 512)
q, s = quantize_per_channel_int4(w)
w_hat = dequantize_per_channel_int4(q, s)
print("量化误差(MSE):", ((w - w_hat) ** 2).mean().item())
print("显存压缩比:", w.numel() * 4 / (q.numel() + s.numel() * 4))  # FP32 vs INT4+scale

注意 INT4 在通用 GPU 上没有原生算术支持,实际算子往往把两个 4-bit 打包进一个字节,或用位运算模拟。因此「存得下」不等于「算得快」,还需要配套的内核才能兑现吞吐收益。

部署层面,现成工具已经把量化流程封装得很完善。用 vLLM 直接加载 4-bit AWQ/GPTQ 模型:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
# vLLM 加载 4-bit 量化模型(需模型本身已量化,如 AWQ/GPTQ)
python -m vllm.entrypoints.openai.api_server \
  --model TheBloke/Llama-2-7B-AWQ \
  --quantization awq_marlin \
  --dtype half \
  --max-model-len 4096

# llama.cpp:把模型转成 GGUF 并指定 q4_k_m 量化
./quantize ./model-f16.gguf ./model-q4_k_m.gguf q4_k_m
./llama-server -m ./model-q4_k_m.gguf --n-gpu-layers 35

awq_marlin 是针对 INT4 优化的内核,能充分发挥新架构 GPU 的吞吐;llama.cpp 的 q4_k_m 则是在精度和体积间折中的经典档位。

工程实践建议:精度、吞吐、显存的三角权衡

量化不是「一键加速」,而是一次需要验证的工程取舍。建议按以下流程决策。

首先明确瓶颈。如果服务受限于显存容量(装不下模型),权重量化(W4A16/W4A8)收益最直接;如果受限于计算吞吐,才需要推进到 W4A4。两者难度和验证成本完全不同,不要一上来就挑战最难的模式。

其次用任务级评测确认精度可接受,而不是只看困惑度(perplexity)。困惑度对某些能力退化不敏感,务必在你的真实任务集上对比量化前后的指标——代码生成看通过率、问答看准确率、对话看人工评分。设定一个明确的「精度预算」,比如相对基线下降不超过 2%,超出就回退粒度或改用 QAT。

第三,谨防离群值和长尾任务。量化误差常在长上下文、生僻 token、数值推理等场景被放大,评测集要覆盖这些长尾。第四,保留基线可回退。线上永远留一份高精度模型或量化前的权重,一旦出现异常迅速切换。第五,测量真实吞吐而非理论值。用工具的 benchmark 子系统压测,关注 TTFT(首 token 延迟)和 TPOT(每 token 延迟)在目标并发下的表现,因为量化收益会随批量大小变化。

小结

INT4 量化的核心矛盾,是用更低的比特数换显存与带宽,同时与放大了的量化误差作斗争。理解 scale / zero-point 与量化粒度,是读懂一切量化方案的基础;W4A4 的难点不在权重而在激活的离群值;GPTQ/AWQ、离群值保护与 FlatQuant 式的可学习等价变换,则是当下最实用的精度补偿工具箱。记住一条铁律:量化收益要用任务级评测来兑现,而不是停留在纸面的压缩比上。把精度预算、真实压测和回退方案都准备好,INT4 才能从「跑分好看」变成「线上稳赚」。