量化（Quantization）
量化是把模型参数从高精度（FP16）压缩到低精度（INT4/INT8）——显存减半、速度翻倍，但能力几乎不变。它是让大模型能在手机上运行的核心技术。
① 一句话定义
量化（Quantization）是一种模型压缩技术：将模型参数从高精度数值（如 32 位浮点 FP32）转换为低精度表示（如 8 位整数 INT8 或 4 位 INT4），从而大幅减少模型体积和推理显存需求，代价是轻微的性能损失。
② 为什么重要
量化是"让大模型跑在消费级硬件上"的关键技术：
- 显存降低 2-4 倍：一个 7B 参数模型，FP32 需要约 28GB 显存，INT4 量化后只需约 7GB——可以在普通笔记本上运行。
- 推理加速：低精度计算更快，INT8 推理速度通常比 FP32 快 2-4 倍。
- 边缘部署：让 AI 在手机、IoT 设备上本地运行，无需联网，保护隐私。
- 成本控制：量化后的模型可以在更便宜的 GPU 上部署，API 服务的硬件成本大幅下降。
③ 核心机制
量化的核心思想是"降精度，保质量"：
1. 基本方法：FP32 的每个参数用 32 位存储，取值范围极大。INT8 只用 8 位，取值范围小得多。量化的任务是为每一层找到最优的"缩放因子（Scale）"和"零点（Zero Point）"，将 FP32 数值映射到 INT8 范围。
2. 训练后量化（PTQ）：模型训练完成后直接量化，不需要重新训练。简单快速，但精度损失较大。GPTQ 是代表性的 PTQ 方法。
3. 量化感知训练（QAT）：在训练过程中模拟量化效果，让模型适应低精度。精度损失最小，但成本高。
4. 混合精度量化：不是所有层都量化到相同精度。对精度敏感的层（如注意力头）保留高精度，不敏感的层（如前馈网络）做激进量化。
5. GGUF 格式：llama.cpp 项目定义的量化模型格式，支持 2-8 位的多种量化级别（Q2_K、Q4_K_M、Q5_K_M 等），是本地运行开源模型最流行的方案。
④ 典型应用场景
本地 LLM 运行：用 Ollama/llama.cpp 在 MacBook 上运行 Q4 量化的 7B-70B 模型。
API 降本：部署量化模型提供 API 服务，单卡可服务更高并发。
移动端 AI：在手机上运行量化后的轻量模型，实现离线翻译、语音识别。
边缘计算：在摄像头、无人机等设备上本地运行 AI 推理。
⑤ 常见误区
误区：量化会让模型变"笨"很多
✅ 实际上：对于 7B 以上模型，4-bit 量化导致的性能损失通常在 1-3% 以内，大多数场景下几乎感觉不到差异。但对于 1B 以下的小模型，量化损失可能更明显。
误区：量化级别越低越好
✅ 实际上：2-bit 量化虽然体积最小，但性能损失显著。Q4_K_M 是社区公认的"甜点"——体积-质量的最佳平衡点。
「量化是 AI 民主化的关键技术——它让价值百万美金的大模型，能在你 5000 块的笔记本上跑起来。
」