量化误差实验台:亲手看 4bit 丢多少
4096×4096 权重矩阵(正态分布模拟)做对称分组量化。拖动位宽与分组大小,直方图与误差实时更新——感受 GPTQ/AWQ 要对抗的东西。
位宽
4 bit
分组大小 group
128
平均相对误差
—
权重体积
—
GB
格点数/组
—
换一组随机权重
原始 FP16 分布
量化后分布
量化格点