S5·部署与评测

MoE

基础模型约 3 分钟

MoE（混合专家）是一种让模型"用一部分参数处理每个 Token"的架构——总参数很多但每次只激活一小部分，又大又快又省。GPT-4 据信使用了 MoE 架构。

① 一句话定义

MoE（Mixture of Experts，混合专家）是一种神经网络架构设计：将模型的前馈层（FFN）拆分成多个独立的"专家"子网络，每次推理时，由一个路由器（Router/Gate）根据输入内容选择性地激活其中少数几个专家（通常是 1-2 个，称为 Top-K 路由），而不是全部。这使得模型的总参数量可以极大（数百亿到数万亿），但每次推理只计算一小部分，保持高效。

② 为什么重要

MoE 是 2024-2026 年大模型架构的最大趋势之一：

参数量的"作弊码"：Mixtral 8×7B 总参数 47B，但每次推理只激活 13B——以 13B 的推理成本，获得了接近 47B 模型的能力。
DeepSeek 的成功：DeepSeek-V3（671B 总参数，每次激活 37B）和 DeepSeek-R1 都基于 MoE 架构。它们的性价比（能力/推理成本）震惊了业界。
Scaling 的新路径：Dense 模型（所有参数都参与推理）的 Scaling 受限于算力，MoE 提供了一条"横向扩展"的路径——加专家 = 加知识容量 = 推理成本几乎不变。

③ 核心机制

MoE 的本质是用"稀疏激活"替换"密集计算"：

1. 专家网络：原始的 Transformer FFN 层被替换为 N 个并行的"专家"——每个专家就是一个独立的小型 FFN。N 通常是 8、16、64 等。每个专家可能擅长不同领域（语法、数学、代码等），但这种"专业化"是训练过程中自发形成的，不是人为设定的。

2. 路由器（Router/Gate）：一个轻量级线性层，输入一个 Token 的隐藏状态，输出 N 个分数（Logits），选择分数最高的 Top-K 个专家（K 通常为 1 或 2）。

3. 负载均衡：路由器可能"偷懒"——总是选择同一批专家，导致其他专家闲置。解决方案是添加负载均衡损失（Load Balancing Loss），惩罚不均衡的路由行为。

4. 实际效果：以 Mixtral 8×7B 为例：总参数 47B，每次推理计算量 ≈ 13B Dense 模型。但因为它有 8 个专家各自学习不同的知识，实际能力远超 13B Dense 模型。

④ 典型应用场景

高性能推理：DeepSeek-V3 在编程、数学等任务上比肩 GPT-4，推理成本仅为其几十分之一。

多语言模型：不同语言可能有各自的"语言专家"，MoE 架构天然适合多语言场景。

多模态模型：文本、图像、音频各有专家，路由器根据输入模态选择相应专家。

⑤ 常见误区

误区：MoE 模型的总参数量 = 它的"能力"
✅ 实际上：MoE 模型的"有效能力"取决于激活参数量和专家专业化程度。47B 的 MoE 不代表它有 47B Dense 模型的能力，但也远超 13B Dense 模型。

误区：MoE 一定比 Dense 好
✅ 实际上：MoE 的优势在于推理效率（大容量 + 低成本），但训练 MoE 模型更难（负载均衡挑战、通信开销更高）。对于小模型（<7B），Dense 架构通常更简单有效。

「
MoE 是 AI 的"专家会诊制"——全科医生（Dense）什么都会但精力有限，MoE 有一个上百人的专家组，每次只请最相关的 2 位专家会诊，又快又专业。
」