模型家族

BERT

模型专题约 3 分钟

BERT 是 2018 年 Google 发布的里程碑式模型——它是第一个真正让 NLP 进入"预训练时代"的模型，一次性刷新了 11 项 NLP 基准，开启了大模型范式。

① 一句话定义

BERT（Bidirectional Encoder Representations from Transformers）是 Google 在 2018 年发布的一个Encoder-only Transformer 模型。它的核心创新是双向上下文理解——在理解一个词时，同时看它的左边和右边（而 GPT 只能看左边）。这种双向注意力让 BERT 在下游任务上（分类、问答、命名实体识别）表现出色。

📜 历史与来源

BERT 一次性刷新了 GLUE、SQuAD 等 11 项 NLP 基准的最高分，而且幅度惊人。它确立了"预训练 + 微调"的 NLP 新范式——不再需要为每个任务从头训练模型，只需要在一个预训练好的 BERT 上加一个小分类头微调。这个范式至今仍在影响整个 AI 领域。

BERT 的创新在于预训练任务设计：Masked Language Model（随机遮住输入的一些词，让模型根据上下文预测被遮住的词——这给了模型"双向"理解能力）和 Next Sentence Prediction（判断两句话是否连续，让模型理解句子间关系）。BERT 的训练数据是 BooksCorpus（800M 词）+ Wikipedia（2500M 词），参数量 1.1 亿（Base）和 3.4 亿（Large）。

「
BERT 是大模型时代的"开山之作"——虽然今天人们更多谈论 GPT，但没有 BERT 在 2018 年验证的"预训练+微调"范式，后来的 GPT 系列可能不会出现。
」