量化的真实代价是任务依赖的
——FP16 vs INT4-AWQ 试点实验

2026-07-26 · NVIDIA A100-SXM4-40GB 实跑 · 源起一位提交者的研究方向(已按提交者隐私脱敏) · 全部物料公开可复现

一句话结果:预注册的两个假设,一个被推翻、一个反向成立——我们照实报。大 batch 离线推理下 INT4-AWQ 几乎没有吞吐收益;量化的质量损失不在人们通常担心的数学推理上,而集中在指令跟随/输出格式保真上。

预注册假设(跑之前写死)

1. H1:INT4-AWQ 相对 FP16 有显著吞吐收益。
2. H2:量化的质量损失是任务依赖的,且数学推理(GSM8K)损失大于抽取式问答(SQuAD)。

设置:Qwen2.5-7B-Instruct(FP16)vs Qwen2.5-7B-Instruct-AWQ(INT4);GSM8K test 与 SQuAD v1.1 dev 各随机抽 200 题(固定种子,两配置同一子集);greedy 解码、同 prompt、同 max_tokens;vLLM 0.11,离线批量推理。统计:逐题配对 delta,bootstrap 10,000 次 95% CI。

结果

交互效应(delta_GSM8K − delta_SQuAD)= +0.081,CI95 [+0.026, +0.136]:任务依赖性成立,但方向与 H2 预测相反——受损的不是数学,是抽取。

机制检查:掉的 9 分是什么

逐题查看 AWQ 掉分最狠的样本后,降幅的大头不是"找不到答案",而是指令跟随退化:AWQ 版频繁无视"只输出片段"的约束,把包含正确答案的完整句子吐出来,被 F1 机械性惩罚。输出中位长度:FP16 4 词 → AWQ 6.5 词。

三个可交付发现

1. H1 在本 regime 被推翻:batch=200 离线吞吐下 weight-only INT4 几乎无加速(1.01–1.05×)。它的收益在 memory-bound 的小 batch 解码;大 batch 变 compute-bound 后消失。推理配置的收益取决于负载状态——任何需要在运行时选择推理配置的系统(agent、serving 调度器)都必须感知这一点。
2. 量化的真实代价在指令/格式保真度,而非推理能力(至少 7B+AWQ 这一档)。对需要下游解析模型输出的管线,这比精度掉点更致命。一个直接的工程推论:检测到量化后端时,应收紧输出约束(grammar/JSON mode)。
3. "量化伤数学"的常见直觉在此设置下不成立:GSM8K 精度 INT4 下 −1pt,统计上不显著。

---

第二轮:把借来的解释换成实测,把机制说法收窄

第一轮留下三个未答的问题:掉的分能不能靠提示词救回来?"损伤在格式不在内容"是真的吗?吞吐收益的拐点到底在哪?第二轮各测了一遍,同一批 200 道 SQuAD 题、四个提示条件、两个模型、逐题配对。结论是一半支持、一半推翻第一轮的解读。

① 吞吐拐点:实测出来了(预注册 H5 成立)

单调下降,并在 64 与 256 之间跌破 1.0——并发足够高时,量化模型比全精度更慢。这解释了第一轮为什么测不到加速:它跑在 batch=200,正落在收益消失的区域。第一轮里"收益只在 memory-bound 小 batch"这句是从文献借来的,现在它是这组数据自己说的。

② 那 9 分能救回来(预注册 H4 成立)

两个示例就把量化带来的质量差距完全抹平。也就是说:第一轮看到的"量化掉 9 分",大部分是提示词不够好暴露出来的,不是量化本身抹掉了能力。这一条削弱了"必须靠切换推理配置来保住质量"的说法——先把提示写好更便宜。

③ 机制:主要是格式,但不是"纯格式"(预注册 H3 未成立)

我们把三件事分开测:F1、内容正确率(标准答案是否出现在输出里,不惩罚啰嗦)、格式合规率(输出是否为上下文的短片段)。基线条件下,格式合规掉 15 个点、F1 掉 11 个点,而内容正确率只掉 3 个点(0.975 → 0.945)——小,但统计上显著。

所以第一轮"降幅的大头是指令跟随退化"成立,但当时暗示的"内容没有损失"不成立,这句话我们收窄:主要是格式,同时存在小而真实的内容损失。

诚实性边界(挑剔审稿人视角,我们自己先说)

• 这是 pilot 信号,不是完整证据:单模型尺寸(7B)、单量化方法(AWQ)、两个任务。结论是"存在任务依赖性"的初步证据,不能外推到所有模型/量化方法。
• 权重是官方 AWQ checkpoint,不是我们对同一 FP16 权重自行量化——校准数据与流程未知,差异归因于"量化"本身还是这个特定 checkpoint,存在混淆。严格版应控制量化流程自变量。
• H1 的解释引自文献,不来自本实验;严格版需要 batch 扫描。 → 第二轮已补,拐点实测为并发 64–256 之间。
• 两轮用的不是同一批题目:同一随机种子,但第一轮先抽了 GSM8K 再抽 SQuAD,第二轮直接抽 SQuAD,实际子集只重合 4 道。因此两轮的绝对数字不能直接比(如基线 FP16 F1:0.742 vs 0.689)。每一轮内部的对比都是同一批题、逐题配对,有效。这是我们自己发现并如实标注的口径错误。
• 交互效应比较的是两个不同量纲的指标(数学 EM vs 抽取 F1),"任务依赖"的结论部分内嵌于指标选择;更干净的设计应在同一指标族(如格式合规率 + 内容正确率分开测)下比较。
• 未做输出约束消融;9 分降幅可能被更强 prompt / few-shot 缓解。 → 第二轮已测,2-shot 完全抹平差距,该猜测成立。仍未测的是受约束解码(grammar/JSON mode)与更长上下文任务。
• 吞吐为单次计时、同一 vLLM 配置,未对各配置单独调优;两个已知现象(大 batch 下 weight-only 无加速、量化伤指令跟随)在从业者中并非新知——本实验的贡献是把它们变成同一组可复现、带 CI 的逐题证据,而非发现新现象。

全部物料(可复现)

复现:任意带 A100(或同级)的机器,pip install vllm==0.11.0 transformers==4.56.2,依次运行文件头注释里的三条命令。逐题结果不删不挑,负结果照实报——这是本引擎的设计行为,不是姿态。

---

English summary

A preregistered pilot on one A100: Qwen2.5-7B-Instruct FP16 vs INT4-AWQ, 200 items each from GSM8K and SQuAD v1.1, greedy decoding, per-item paired deltas with 10k-resample bootstrap CIs. Both hypotheses surprised us, and we report as-is: (1) weight-only INT4 gave no meaningful throughput gain at batch-200 offline inference (1.01–1.05×) — its benefit lives in memory-bound small-batch decoding; (2) quality damage was task-dependent but in the opposite direction from our prediction — math reasoning was statistically unharmed (−1pt, n.s.) while extraction dropped 9 F1 points (significant), and per-item inspection shows the drop is mostly instruction-following degradation (the quantized model ignores "output the span only" and answers in full sentences). For agent pipelines that parse model output, format fidelity loss is more dangerous than accuracy loss. All code, per-item raw outputs and stats are published above.