S2·对话之道

Transformer

基础模型约 3 分钟

Transformer 是现代大语言模型的架构基石。它的核心创新——自注意力机制——让模型能同时"关注"文本中的所有位置，彻底改变了 AI 处理语言的方式。

① 一句话定义

Transformer 是 2017 年由 Google 提出的一种神经网络架构，核心创新是自注意力机制（Self-Attention）——它让模型能同时关注输入序列中所有位置的关系，而不是像 RNN 那样必须逐个位置处理。今天所有主流大语言模型（GPT、Claude、LLaMA 等）都基于 Transformer 架构。

② 为什么重要

Transformer 是当代 AI 的"发动机"。2017 年的论文《Attention Is All You Need》被视为 AI 时代的分水岭：

并行计算：不像 RNN 必须串行处理，Transformer 可以一次性处理整个序列，训练效率提高了几十倍。
长距离依赖：自注意力机制让模型能看到任意两个位置之间的关系，解决了长文本理解的核心难题。
可扩展性：Transformer 结构可以轻松扩展到数千亿参数，scaling law 由此成立。

③ 核心机制

Transformer 由编码器（Encoder）和解码器（Decoder）两部分组成，现代 LLM 大多只使用解码器部分：

1. 自注意力（Self-Attention）：每个位置的输入都会被转化为 Query、Key、Value 三个向量。通过计算 Query 与所有 Key 的相似度来决定"关注多少"，再用 Value 加权求和得到输出。这使得"苹果"这个词在"吃苹果"和"苹果手机"中能获得不同的表示。

2. 多头注意力（Multi-Head Attention）：同时运行多组注意力，每组关注不同层面的关系（语法、语义、指代等），最后拼接起来。

3. 位置编码（Positional Encoding）：因为并行处理丢失了词的顺序信息，需要额外添加位置信号。

4. 前馈网络 + 残差连接 + 层归一化：每个注意力层后接一个全连接网络，残差连接确保深层网络可训练，层归一化稳定训练过程。

④ 典型应用场景

大语言模型：GPT 系列使用 Transformer Decoder，BERT 使用 Transformer Encoder，T5 使用完整的 Encoder-Decoder。

多模态模型：Vision Transformer（ViT）将图像切块后送入 Transformer，CLIP 用 Transformer 对齐文本和图像。

代码生成与理解：代码的结构化特征与 Transformer 的自注意力天然匹配，GitHub Copilot 等工具的核心就是 Transformer。

⑤ 常见误区

误区：Transformer 真的"理解"语言
✅ 实际上：Transformer 通过统计模式匹配来处理语言。它的"理解"本质上是高维空间中的向量运算——极其强大，但不是人类意义上的理解。

误区：注意力机制是人脑注意力的直接模拟
✅ 实际上：自注意力机制只是借鉴了"注意力"这个比喻。它的本质是可微分的键值查找（Key-Value Lookup），与人脑的生物注意力机制完全不同。

「
Transformer 用"注意力"替代了"记忆"——它不按顺序读，而是一次性看清全部，这正是现代 AI 能力爆发的架构基础。
」