参数（Parameters）

参数数量是理解 AI 模型能力和成本的第一把尺子。你不需要成为机器学习工程师就能从参数规模中读出大量信息：

一、参数决定模型"能有多聪明"的上限

参数越多，模型的理论"容量"越大——它能记住和处理更复杂的模式。这不是说 405B 的模型一定比 7B 的更"聪明"，而是说在同样训练充分的情况下，大模型的上限更高：

• 7B 级别：Llama 3 7B、Mistral 7B、Qwen2 7B——可以在手机或笔记本上运行，适合文本分类、简单对话、基础翻译
• 70B 级别：Llama 3 70B、Qwen2 72B——需要高端显卡，能做复杂推理、长文理解、代码生成
• 405B 级别：Llama 3.1 405B——需要多张显卡集群，接近闭源顶级模型的能力
• 万亿级（未公开）：GPT-4、Claude 3.5 的精确参数量未公布，但业界估计在 1-2 万亿参数级别

二、参数决定运行成本

这是一个非常实用的知识：参数越多，运行模型需要的显存（GPU 内存）越多。粗略换算：

• 7B 模型（FP16 精度）：约需 14GB 显存——一张 RTX 4090（24GB）可以运行
• 70B 模型（FP16 精度）：约需 140GB 显存——需要 2-4 张高端企业显卡
• 405B 模型（FP16 精度）：约需 810GB 显存——需要 8+ 张 H100（每张 80GB）

这就是为什么"能在你手机上跑的 AI"通常是 1B-8B 的小模型——不是它们不够好，而是你的手机只有 8-16GB 内存。

三、参数 ≠ 性能（但你得知道为什么）

一个训练不充分的 70B 模型，可能不如一个训练充分的 7B 模型。参数是"锅的尺寸"，但好不好吃还取决于食材（数据质量）、火候（训练时长）和厨艺（训练方法）。近年来，不少 7B-13B 的小模型通过更好的训练数据和训练方法，在特定任务上超越了老一代的 70B 模型。理解这一点，你才能不被"参数越大越好"的营销话术迷惑。

参数在神经网络中是如何工作的？我们用一个最简单的例子来理解：

一个"迷你模型"的参数

假设你要训练一个模型来预测"房价"。你给出的输入是：面积（平方米）和卧室数量。一个最简单的线性模型看起来是这样的：

房价 = w₁ × 面积 + w₂ × 卧室数 + b

这里的 w₁、w₂ 和 b 就是3 个参数。训练的过程就是不断调整这三个数，让模型的预测结果尽可能接近真实房价。三个参数搞定一个问题——这大概是你能训练的最简单的"AI 模型"。

现在，把你想让模型做的事从"预测房价"换成"理解人类语言"：你需要它理解语法、记住事实、做推理、分辨语气、处理上下文……三个参数远远不够。一个现代大语言模型需要几十亿到几千亿个参数来捕捉语言的所有这些细微模式。

参数是怎么"学到东西"的

每个参数在训练过程中都会被反复调整，这个调整过程叫做梯度下降（Gradient Descent）。想象你蒙着眼睛站在一座山上，你的目标是走到山谷的最低点——每走一步，你会感受脚下的坡度，顺着最陡的方向往下走一步，直到到达谷底。

模型训练也是如此：

1. 用当前的参数做一次预测
2. 计算预测结果和正确答案之间的差距（这个差距叫"损失/Loss"）
3. 沿着"减少损失最快"的方向微调每一个参数
4. 重复数十亿次，直到参数收敛到最优值

对于 7B 模型，这意味着每一步要计算70 亿个参数各自的调整方向和幅度——这就是为什么训练大模型需要上万张 GPU 跑几个月。

参数是怎么"存"的

每个参数在计算机内存中是一个数值，通常用 16 位浮点数（FP16）或更低的精度存储。FP16 下每个参数占 2 个字节。所以：

• 7B 参数 × 2 字节 = 14GB（基础存储）
• 加上推理时的中间计算结果（KV Cache 等），实际需要 18-20GB

而如果你把精度降低（比如用 4 位量化，每个参数只占 0.5 字节），一个 7B 模型就只需要约 3.5GB——这就是量化（Quantization）技术的价值所在。

场景 1：选模型时看参数

你要做一个中文客服机器人。你发现 Qwen2 有 0.5B、1.5B、7B、72B 四个版本。怎么选？0.5B 可以忽略——太小，对话质量太差。1.5B 能跑在 CPU 上，成本极低，适合简单 FAQ 匹配。7B 需要一张显卡，能做流畅的多轮对话。72B 需要多张显卡，但理解能力最强，适合复杂场景。你的选择本质上是在参数规模 vs 部署成本之间做权衡。

场景 2：估算硬件需求

你在规划一台用于本地运行 AI 模型的服务器。已知你想跑的模型是 70B 参数。快速心算：70B × 2 字节 ≈ 140GB 显存。加上 KV Cache 等开销，约需 180-200GB 显存。如果一张 H100 是 80GB，你至少需要 3 张。如果预算有限，考虑用 4 位量化——70B × 0.5 ≈ 35GB + 开销，也许 1-2 张就够了。

场景 3：理解 AI 产品的定价差异

为什么 GPT-4 的 API 比 GPT-3.5 贵那么多？因为 GPT-4 的参数规模是 GPT-3.5 的许多倍（精确数字未公布），每次推理的算力消耗也成倍增加。运营方需要更大的 GPU 集群来服务同样多的用户，这些成本最终反映在 API 价格上。

误区一：参数越多模型一定越好

不完全对。2024 年以来，"小模型也能干大事"成为重要趋势。微软的 Phi-3 只有 3.8B 参数，但通过精心设计的训练数据（用"教科书级别"的合成数据而不是互联网噪音），在很多推理任务上超越了 7B 甚至更大的模型。参数是上限，但训练数据的质量和训练方法决定了你能多接近这个上限。

误区二：所有参数都在"干活"

研究表明，大模型中相当一部分参数在推理时贡献不大。这也是为什么可以通过剪枝（Pruning）和量化（Quantization）大幅压缩模型而不显著损失性能。一个 70B 模型在量化到 4 位精度后，在很多任务上几乎看不出来性能下降，但运行所需显存减少了 75%。

误区三：B 就是 Billion，没什么好纠结的

严格来说，不同厂商说的 "7B" 可能不一样。有些模型 7B 指的是总参数量，有些指的是排除嵌入层后的"有效参数"。虽然差别不大（通常不到 5%），但在做精确的性能对比时需要注意。另外，有些中国厂商用 "万" 做单位（如"70 亿参数"），换算时注意：1B = 10 亿。

参数这个概念在 AI 中一直存在，但"参数数量"成为公众关注的话题，是随着大语言模型的兴起才发生的：

• 2018 年：BERT-large 有 3.4 亿参数，当时被认为"巨大"
• 2019 年：GPT-2 有 15 亿参数，OpenAI 一开始因为"太危险"不敢开源——现在回头看，15 亿参数的模型手机上都能跑
• 2020 年：GPT-3 有 1750 亿参数，让所有人震惊——原来参数堆到千亿级别，模型能展现出训练时没专门教过的"涌现能力"
• 2023 年：Llama 2 开源了 7B、13B、70B 三个尺寸，让"参数规模"成为选模型的标准维度之一
• 2024 年：Llama 3.1 405B 是最大规模的开源模型；同时 Phi-3 等小模型的出色表现让人们开始重新思考"参数越多越好"这个假设

故事一："涌现能力"是真实存在还是统计幻象？

2022 年，Google 的研究员发表了一篇影响深远的论文，声称当模型的参数规模超过某个阈值时，会突然出现训练时没有专门教过的能力——比如算术、翻译、代码生成。他们把这叫做"涌现能力"（Emergent Abilities）。这个发现让整个行业兴奋不已：原来只要把模型做大，能力就会自发出现！

但 2023 年，Stanford 的研究者发出了一篇重磅反驳：所谓的"涌现"可能只是评测指标（Metric）带来的统计假象。当你用非线性指标（比如"答案完全正确的概率"）来衡量模型时，参数的持续提升会看起来像是"突然跳变"。如果换用线性指标（比如"答案离正确答案有多近"），你会发现模型的进步是平滑的，不存在什么"涌现"。

这场争论至今没有完全结束。它在深层挑战一个问题：大模型的能力提升到底是量变引起质变，还是纯粹的量变？如果是前者，继续堆参数确实可能通向 AGI；如果是后者，"做大做强"这条路终究会遇到天花板。

故事二：DeepMind 用 Chinchilla 打了所有人的脸

2022 年，DeepMind 发表了一篇名为《Training Compute-Optimal Large Language Models》的论文，主角是一个叫 Chinchilla 的 70B 模型。论文证明了一个尴尬的事实：市面上几乎所有大模型（包括 GPT-3、Gopher 等）都是"训练不足"的——它们有足够多的参数，但训练数据的量不够。

按照 Chinchilla 定律，最优的训练策略是：每 10 亿参数大约需要 200 亿个 token 的训练数据。也就是说，一个 70B 模型需要约 1.4 万亿 token 来充分训练——而当时大多数模型远未达到这个标准。这意味着：与其搞一个 175B 参数但训练不充分的巨人，不如搞一个 70B 参数但训练充分的好学生——后者效果可能更好，而且推理成本更低。

这个发现直接改变了行业做法：2023 年后发布的新模型（Llama 3、Gemini 等）都把训练数据量提到了万亿级别。Chinchilla 不是最有名的模型，但它可能是近 5 年最有影响力的 AI 论文之一。

故事三：GPT-4 到底有多少参数？OpenAI 打死不说

传统上，每次发布大模型，参数数量都是最重要的宣传指标。GPT-3 有 1750 亿参数，这个数字被广泛传播。但到了 GPT-4，OpenAI 做出了一个不寻常的决定：不公开参数数量。Sam Altman 在被问到为什么不公开时，回答大意是"参数数量已经不是衡量模型能力的好指标了，而且公开会给竞争对手提供太多信息。"

这一决定在 AI 圈引发了大量猜测。有估计说 GPT-4 可能是 1.76 万亿参数的 MoE（混合专家）架构，实际每个 token 只激活约 2800 亿参数。但 OpenAI 的沉默本身就说明了行业的转向：在 2023 年以后，参数竞赛已经不是主旋律了——训练数据质量、后训练（对齐）、推理能力才是决定模型好坏的关键。

争议：Scaling Law 能持续多久？

关于"继续堆参数还有没有用"，行业里分成了好几派：

• 坚定相信 Scaling：Ilya Sutskever（OpenAI 前首席科学家）在多个场合表示"感觉 Scaling Law 还能持续很久"
• Scaling 遇瓶颈论：Google DeepMind 的 François Chollet 认为 Scaling 的红利正在消退，下一代模型需要在架构层面有根本性的突破，而不仅仅是"更大"
• "Test-time Scaling" 新范式：OpenAI o1 和 DeepSeek R1 展示了另一条路——不在训练时堆参数，而是在推理时花更多时间"思考"。有人把这叫做"从训练 Scaling 转向推理 Scaling"