GGUF

GGUF 是"本地运行大模型"生态的基础设施：

• 一键运行：不需要 Python 环境、不需要 PyTorch、不需要配置——下载 .gguf 文件，llama.cpp 直接加载推理。任何有 C++ 编译器的设备都能跑。
• 跨平台：Mac（Metal GPU 加速）、Windows（CUDA/CPU）、Linux、Android、甚至 Raspberry Pi。
• 量化内置：GGUF 格式原生支持 2-8 bit 的各种量化方案（Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0 等），用户根据需要选择质量和体积的平衡。
• 生态繁荣：Ollama（最流行的本地 LLM 工具）基于 llama.cpp 和 GGUF；Hugging Face 上绝大多数社区量化模型都是 GGUF 格式。

GGUF 格式的设计哲学是"一个文件，一个模型，零依赖"：

1. 单一文件架构：.gguf 文件包含：模型权重（量化后的）、分词器（Tokenizer）配置和词表、超参数（层数、注意力头数、隐藏维度等）、元数据（模型名、作者、许可证等）。

2. 量化方案体系：GGUF 的 K-quant 系列（Q2_K 到 Q6_K）是 llama.cpp 社区大量实验后的最优方案——不是简单的均匀量化，而是对不同层使用不同精度。例如 Q4_K_M 意味着：注意力层的权重用较高精度，FFN 层用较低精度，重要层和次要层的精度不同。

3. 推理引擎优化：llama.cpp 用纯 C/C++ 编写，不依赖 Python 和 PyTorch。它用 mmap 加载模型文件（多个进程共享只读内存），做了一系列 CPU 推理优化（量化矩阵乘法、SIMD 指令加速、多线程并行）。

4. Ollama 生态：Ollama 封装了 llama.cpp + GGUF，提供了 Modelfile（模型配置）+ 自动下载 + REST API + 多平台 GUI，让 GGUF 从"开发者工具"变成"普通用户产品"。

隐私敏感场景：在本地（无网络）运行 LLM 处理敏感数据。

低延迟需求：相比调用云端 API，本地的 GGUF 模型推理延迟更可控（无网络往返）。

成本控制：免费开源模型 + 本地运行 = 零 API 费用。

边缘设备部署：在无 GPU 的服务器、工控机等设备上运行轻量 LLM。

误区：GGUF 模型一定比原版差很多
✅ 实际上：Q4_K_M 量化在 7B+ 模型上的质量损失通常在 1-3% 以内，大多数实际使用场景下感知不到区别。但对于 1-3B 的小模型，量化损失会更明显。

误区：.gguf = 模型被"转换"了，性能不如原版
✅ 实际上：GGUF 只是格式和量化方案，推理引擎的优化让它甚至可能比原生 PyTorch 推理更快（在 CPU 上尤其明显）。质量取决于量化级别，与格式无关。