S5·部署与评测
推理（Inference）
推理是模型完成训练后"干活"的阶段——用训练好的参数回答用户问题。推理成本决定 AI 产品能否盈利，推理延迟决定用户体验好坏。
① 一句话定义
推理（Inference）是训练好的模型用于实际预测或生成的阶段。与训练不同，推理时模型参数完全冻结——只做前向传播（Forward Pass），不做反向传播。每次用户向 ChatGPT 提问、每次手机输入法的自动纠错，都是一次推理。
② 为什么重要
推理是"AI 落地的成本中心"。训练一次花几千到几亿美元，但推理每次都要花钱——而且每天都发生数十亿次。推理成本决定了 AI 产品能否赚钱、推理延迟决定了用户愿不愿意等。这是工程师和产品经理最关心但最被外界忽视的 AI 环节。
③ 核心机制
推理的核心流程：用户输入 → Tokenizer → Embedding → N层Transformer前向传播（自注意力+FFN） → 生成下一个Token概率分布 → 采样 → 输出Token → 将输出Token拼回输入 → 循环直到结束。推理的瓶颈在显存带宽（而非计算速度）和KV Cache管理。
更多
外卖厨房——高峰期爆单就是推理瓶颈。一家餐厅只有一个厨师，平时 10 分钟出一个菜。午餐高峰期同时来了 50 个订单，每个都要等 1 小时。老板有两个选择：多雇厨师（加 GPU），或者简化菜单让厨师做得更快（优化推理引擎）。推理延迟就是出菜时间，推理吞吐就是每小时出菜数量，推理成本就是每个菜的人工+食材成本。AI 公司的运维团队每天的工作就是——确保外卖高峰期不把厨房逼疯。
「推理是模型"赚钱养家"的阶段——训练花了多少钱靠推理赚回来。优化推理效率是 AI 商业化的核心命题。
」