DeepSpeed
DeepSpeed 是微软开源的分布式训练框架，它让训练 GPT-4 级别的超大模型在工程上成为可能——通过 ZeRO 优化把几百 GB 的参数和优化器状态分片到几百张 GPU 上。
① 一句话定义
DeepSpeed 是微软开源的深度学习训练优化框架，专为解决大模型训练中的显存和通信瓶颈而设计。它的核心技术是 ZeRO（Zero Redundancy Optimizer）——通过将优化器状态、梯度和模型参数分片（Shard）到多张 GPU 上，消除数据并行中的冗余存储，使得在普通 GPU 集群上训练千亿参数模型成为可能。
② 为什么重要
DeepSpeed 是开源大模型训练的"标配引擎"：
- 显存效率革命：ZeRO-3 将 13B 模型的最低训练显存从 500GB+ 降至 80GB（几张消费级 GPU）。
- 训练速度：DeepSpeed 的通信优化使多卡训练效率接近线性扩展——128 张 GPU 接近 128 倍单卡速度。
- 开源生态支柱：LLaMA、Qwen、DeepSeek 等大多数开源大模型的训练都使用了 DeepSpeed 或类似框架。
③ 核心机制
DeepSpeed 的核心是 ZeRO 的三级优化，逐级激进：
1. ZeRO Stage 1 — 优化器状态分片：Adam 优化器需要存储每个参数的动量（m）和方差（v），这些"优化器状态"占用的显存通常比模型本身还大（2 倍于参数量）。ZeRO-1 将优化器状态分配到多张 GPU 上，每张卡只存一部分。显存节省约 4 倍。
2. ZeRO Stage 2 — 梯度分片：在 Stage 1 的基础上，将反向传播产生的梯度也分片存储，每张卡只需要存储与自身参数对应的梯度。显存节省约 8 倍。
3. ZeRO Stage 3 — 参数分片：最激进——连模型参数本身也分片。每张 GPU 只持有模型参数的 1/N（N=GPU 数量）。前向/反向传播时，需要的参数片段通过高速通信（AllGather/ReduceScatter）实时获取和释放。显存节省与 GPU 数量线性相关——64 张 GPU 时，每张只需 1/64 的模型参数显存。
4. ZeRO-Offload：将优化器状态和计算卸载到 CPU 内存甚至 NVMe SSD 上，进一步降低 GPU 显存需求。
5. ZeRO-Infinity：扩展到支持数百 GPU + CPU/NVMe 混合训练，使万亿参数模型的训练成为可能。
④ 典型应用场景
大规模开源模型训练：用几十到几百张 GPU 训练 7B-405B 级别的模型。
学术研究：实验室有限的 GPU 资源（4-8 张）也能微调和研究大模型。
企业私有化训练：在企业自有 GPU 集群上训练专用大模型。
⑤ 常见误区
误区：DeepSpeed 和 PyTorch 是替代关系
✅ 实际上：DeepSpeed 是 PyTorch 的"插件"——它不替代 PyTorch，而是通过包装 PyTorch 的优化器和模型来实现优化。你仍然用 PyTorch 写模型代码，DeepSpeed 在底层做显存和通信优化。
误区：ZeRO-3 总是比 ZeRO-1 好
✅ 实际上：Stage 越高，通信开销越大。ZeRO-3 虽然显存效率最高，但大量的参数收集/释放通信可能拖慢训练速度。对于小模型或 GPU 充足的情况，ZeRO-1 或 ZeRO-2 可能更快。
「DeepSpeed 是"穷人的算力放大器"——当你买不起 100 张 H100 时，它让你用 4 张 A100 也能训练大模型。
」