预训练（Pretraining）

一、预训练决定了模型能力的天花板

后续所有优化（微调、对齐、Prompt工程）都只能在预训练模型的能力范围内做改进。预训练阶段没学到的知识，后面怎么也补不回来。一个预训练不充分的基座模型，就算 SFT 数据再精良、RLHF 做得再好，天花板就是比充分预训练的模型低。

二、预训练是最"烧钱"的环节

训练 GPT-4 级别模型的预训练成本估计在 5000 万 - 1 亿美元，需要上万张 GPU 跑几个月。预训练成本是大模型商业化的核心壁垒——能负担得起预训练的公司全球不超过 10 家。这也是为什么大多数 AI 创业公司选择基于开源预训练模型做微调，而不是自己从头预训练。

三、预训练数据决定了模型的"世界观"

模型的"知识"来自预训练数据。预训练数据中的偏见、错误、过时信息都会被模型学会。这就是为什么模型会有"知识截止日期"（预训练数据只收集到某个时间点），以及为什么数据质量比数据量更重要。

预训练的核心是自监督学习——模型自己从文本中构造"题目"和"答案"。具体来说：取一段文本，"遮住"最后一个词，让模型预测这个词是什么。预测对了强化参数，预测错了调整参数。因为文本自身就提供了"正确答案"，不需要人工标注。

预训练的三个核心要素：模型架构（Transformer Decoder-only）、训练数据（几万亿 Token 的高质量文本，包括网页、书籍、代码、论文、多语言语料）、算力（数千到上万张 GPU，持续几个月的分布式训练）。三者缺一不可。

关键训练细节：使用 AdamW 优化器、余弦学习率衰减、混合精度训练（FP16/BF16）、梯度累积、ZeRO 优化（将优化器状态分片到多张 GPU）等工程技巧。这些工程细节往往比模型架构本身更影响训练的成功率。

预训练的产出是基座模型（Base Model）——一个能续写文本但不一定会"好好回答问题"的模型。它的典型表现：你输入"请解释什么是黑洞"，它可能输出"请解释什么是黑洞，以及它是如何形成的..."——它在"续写"你的问题，而不是在"回答"。基座模型需要经过 SFT 和 RLHF 才能变成 ChatGPT 这样的助手。

误区一：预训练 = 从零训练一个 ChatGPT——错。ChatGPT 经过了预训练 + SFT + RLHF 三个阶段。单独一个预训练基座模型是"话痨"，但不是"助手"。误区二：预训练数据越多越好——数据质量比数量重要。用精心筛选的 1 万亿高质量 Token 训练，效果往往优于用 10 万亿低质量 Token。Chinchilla 论文证明了"训练不足"比"参数不够"更常见。

2018年 GPT-1（1.17亿参数）首次验证 Transformer + 预训练的有效性；2019年 GPT-2（15亿）展示规模效应；2020年 GPT-3（1750亿）展示涌现能力；2022年 Chinchilla论文揭示训练数据量和参数量的最优比例；2023年 LLaMA开源改变预训练生态；2024年 Phi-3等小模型展示数据质量 > 数据量；2025年预训练从"军备竞赛"走向"精细化"。

故事：LLaMA 开源——"预训练民主化"的里程碑

2023 年 2 月，Meta 出人意料地将 LLaMA 模型开源。此前，行业共识是"预训练是大公司的游戏"，开源社区只能等大公司释放模型。LLaMA 改变了这一切——全世界的研究者和开发者第一次能拿到一个"真正的预训练基座模型"来研究和微调。这催生了 Alpaca、Vicuna 等大量衍生模型，形成了"开源预训练 + 社区微调"的新生态。有人说 LLaMA 的发布是 AI 行业的"Linux 时刻"。

争议：预训练数据的版权问题

2023-2024 年，纽约时报诉 OpenAI、Getty Images 诉 Stability AI 等案件将预训练数据的版权问题推到了法庭。核心问题：用公开可访问但受版权保护的内容训练 AI 模型，是否属于"合理使用"？目前全球司法体系对此没有统一答案，这个问题的判决结果将深刻影响未来预训练数据的来源和成本。

争议：合成数据能替代真实数据吗？

2024 年 Phi-3 的成功展示了"教科书级别的合成数据"可以训练出超越同级模型的小模型。但合成数据的问题是"模型递归"——如果所有模型都用 AI 生成的数据训练，会不会形成"近亲繁殖"，导致模型能力退化？目前业界倾向于"真实数据为主，合成数据为辅"。