极智AI | 解读大模型量化算法之GPTQ

GPTQ 的核心思想是通过最小化量化引入的输出误差，实现高精度低比特量化。具体来说，GPTQ 在后量化过程中，针对每一层的权重矩阵，利用一小部分校准数据，最小化量化前后模型输出的差异。