模型部署（Deployment）

部署是将 AI 能力转化为商业价值的"最后一公里"：

• 训练 ≠ 可用：一个在实验室跑得通的模型，可能因为延迟、吞吐、成本、稳定性等问题在实际生产环境中完全不可用。
• 成本决定商业模式：推理成本是持续性的（每个用户请求都花钱），部署策略直接影响产品能不能盈利。
• SLA 与可靠性：生产环境要求 99.9%+ 的可用性、毫秒级延迟、自动扩容——这些都是部署工程的核心挑战。

模型部署的技术栈从底层到顶层：

1. 模型优化与格式转换：训练好的 PyTorch 模型 → ONNX/TensorRT 优化图 → 量化（INT8/FP16）→ 导出为推理格式（GGUF、vLLM supported format）。这一步可以提升推理速度 2-10 倍，降低显存需求。

2. 推理引擎：vLLM（高吞吐，PagedAttention 实现 KV Cache 高效管理）、TensorRT-LLM（NVIDIA 极致优化）、llama.cpp（CPU/边缘设备）、SGLang（结构化生成优化）。不同的引擎有不同的优化方向。

3. API 服务封装：部署通常遵循 OpenAI API 规范（/v1/chat/completions），便于现有生态无缝接入。包括认证、速率限制、请求日志、计费等中间件。

4. 扩容与调度：Kubernetes + HPA（水平自动扩容）按负载增减推理实例。GPU 资源稀缺且昂贵，调度效率直接影响成本。

5. 监控与告警：TTFT（首 Token 延迟）、TPOT（每 Token 生成时间）、吞吐量（Tokens/s）、GPU 利用率、请求错误率。这些指标决定用户体验和运维效率。

6. 部署模式：云端 API（按量付费，零运维）、自托管（私有化部署，数据安全）、边缘部署（端侧运行，离线可用）、混合部署（敏感数据本地处理，通用请求云端处理）。

AI SaaS 产品：创业公司用 vLLM + K8s 部署开源模型，提供 API 服务。

企业内网 AI：在私有云部署 LLM，员工使用内部 AI 助手，数据不出企业边界。

端侧 AI 功能：手机 App 内置量化小模型，实现离线翻译、实时语音识别。

大规模消费者产品：ChatGPT 级别的部署规模——数万张 GPU，每日数十亿请求。

误区：部署就是"把模型放到服务器上"
✅ 实际上：部署涉及模型优化、推理引擎选型、API 设计、扩容策略、安全防护、成本管理、监控告警等一整套工程体系。上线只是开始。

误区：云端 API 一定比自托管贵
✅ 实际上：对于低负载场景（每天几百次调用），云端 API 更划算（不用养 GPU）。对于高负载场景（每秒上百次调用），自托管模型的总拥有成本（TCO）可能更低。