标签：GPTQ

共 2 篇文章

• LLM 权重量化上线生产实战：用校准集指纹、Kernel 兼容矩阵与双轨回放守住质量和吞吐

  深入拆解 LLM 权重量化从实验到生产落地的完整链路，涵盖 AWQ/GPTQ 算法对比、校准集指纹构建、四层兼容模型、Kernel 兼容矩阵、质量与吞吐双轨回放及灰度发布回滚策略。

  2026/07/12 LLM 推理 / 模型量化 / AWQ / GPTQ / GPU Serving / 权重量化

• LLM Quantization Engineering：生产推理不能只看位宽

  本文系统拆解 LLM 量化的生产工程逻辑，从 AWQ、GPTQ、SmoothQuant、FP8、INT4、KV cache 量化、校准数据、硬件 kernel 到质量回归测试，帮助团队判断大模型推理降本时如何在显存、延迟、吞吐和准确率之间做可靠取舍。

  2026/06/26 LLM Inference / Quantization / AWQ / GPTQ / AI Infrastructure