标签: 模型量化 | 恒星不见

互动

最近评论

<blockquote><p>别让谁去改变了你，你是你或是妳都行，会有人全心地爱你</p></blockquote><p>寻找真实的自我需要莫大的勇气，请允许我献上最真心的祝福：愿长生不老，永远不死，死了也能原地复活，爱你哟😘</p>

<p>4+4</p>

Hello World

测试评论

标签

寻找感兴趣的领域

文章

微信
支付宝

交互式 1 算力调度 1 集群通信 1 昇腾 1 硬件架构 1 AI Infra 4 AI Agent 1 RAG 1 模型量化 1 推理优化 1 模型训练 1 Transformer 2 分词器 1 LLM 8 Linux 3 面经 0 FPGA 2 Linux驱动 4 开发环境 0 VSCode 0 社会科学 1 计算机视觉 1 misc 1

大模型量化：从 INT8、GPTQ 到 GGUF 的压缩实践

人工智能未读

大模型量化：从 INT8、GPTQ 到 GGUF 的压缩实践

用更低的数值精度换显存与速度：线性量化原理、PTQ 与 QAT 路线、GPTQ/AWQ/GGUF 三大方案对比与选型建议，附可运行的量化代码。

LLM 模型量化最近