自然语言处理（NLP）

一、NLP 是连接人类和机器的"语言桥梁"

计算机内部只有 0 和 1，而人类用丰富的自然语言交流。NLP 就是中间的翻译层。没有 NLP：

• 你只能通过命令行或编程和计算机交互
• 搜索引擎只能做精确关键词匹配——搜"好吃的川菜"和"麻辣推荐"可能完全不同
• 翻译软件根本不可能存在

有了 NLP，你和机器的交互方式从"学习机器的语言"变成了"机器学习你的语言"。这个转变的重要性不亚于图形化操作系统替代命令行——它把计算机的使用门槛从"专业人士"降低到了"所有人"。

二、NLP 是 LLM 的"学科母体"

今天所有的大语言模型（GPT、Claude、Llama 等），本质上都是 NLP 技术的集大成者。Transformer 架构、注意力机制、Tokenization、Embedding——这些 LLM 的核心组件都诞生于 NLP 研究。理解 NLP 的发展脉络，你就能理解为什么 LLM 是这样设计的、哪里是它的强项、哪里是它可能的进化方向。

三、NLP 正在从"工具"变成"基础设施"

过去 NLP 是一个专门的技术领域——做搜索的优化搜索、做翻译的优化翻译，各干各的。2023 年以后，随着大语言模型的成熟，NLP 正在"消失"——它不再是一个独立的"技术模块"，而融化进了每一个需要语言交互的场景中。任何人现在都可以用自然语言和 AI 对话来完成任务，而不需要理解背后有多少 NLP 技术在支撑。这有点像电力——100 年前你需要懂发电机才能用电，现在你只需要按开关。

NLP 的核心任务和解决思路，在过去 70 年里发生了三次重大的范式转变：

第一代：规则驱动（1950s-1990s）

早期的 NLP 系统靠语言学家手工编写规则。比如要做翻译，语言学家写："如果中文句子以'把'开头，把宾语移到动词后面，翻译成对应的英文被动结构"。这种方法的优点是精确、可解释；缺点也显而易见——语言的规则太多了，例外比规则还多，根本写不完。

你试过学英语那些语法规则吗？"i before e except after c"——然后遇到 "science" 就失效了。这就是规则系统碰到的困境。

第二代：统计驱动（1990s-2010s）

统计方法的思路完全不同：不写规则了，让计算机从大量平行文本（比如中英对照的新闻文章、政府文件）中自动学习词汇和短语的对应关系。一个经典应用是统计机器翻译：计算机数一下"在英文中、中文'猫'翻译成'cat'的概率是 99.9%，翻译成'dog'的概率是 0.1%"，然后根据这些概率来选择翻译。

这比规则系统好很多——不需要语言学家写规则了，但需要大量高质量的对齐语料（这很贵也很难获取），而且翻译结果经常不通顺（因为它是按短语拼接的，缺乏全局句法意识）。

第三代：神经网络/深度学习驱动（2013s-至今）

这是今天的范式。核心变化是：

1. 用 Embedding 表示语义：不再把词当成独立的符号，而是映射到高维向量空间——语义相近的词（猫、猫咪、小猫）在向量空间里距离很近
2. 用 Transformer 理解上下文：注意力机制让模型能同时关注一句话中所有位置的关系——"我昨天在河边看到了它"，模型通过注意力机制知道这个"它"指的是前文提到的某个东西
3. 用大规模预训练学"语感"：不需要为每个任务单独训练模型，一个预训练好的大模型通过少量示例（或甚至零示例）就能完成翻译、摘要、问答等不同 NLP 任务

NLP 的六大经典任务

无论技术怎么变，NLP 要解决的核心问题大致可以归为六类：

• 分类：这段评论是正面还是负面的？（情感分析）
• 序列标注：这句话中哪些是人名、哪些是地名？（命名实体识别）
• 生成：根据要点生成一段通顺的文字
• 翻译/转换：把中文翻译成英文，把口语转为书面语
• 匹配/检索：从 100 万篇文档中找到最相关的 10 篇
• 推理/问答：根据一段文字回答一个需要推理的问题

今天的大语言模型可以同时做好所有这些任务——这是 NLP 几十年发展的集大成。

场景 1：搜索引擎

你搜"武汉好吃的热干面推荐"，搜索引擎不会只在标题里找这几个词，而是会：理解你的意图（在武汉找热干面美食推荐）→ 匹配语义相近的内容（可能标题写的是"武汉过早一条街"）→ 按相关度排序展示结果。每一步都是 NLP。

场景 2：智能客服

用户问："我上个月买的东西怎么还没到？"NLP 系统需要：识别这是"物流查询"类问题 → 提取关键信息（时间=上个月，状态=未收到）→ 匹配到订单追踪流程 → 生成回复。现代智能客服还需要理解用户的情绪——"怎么还没到？"带有不满情绪，可能需要优先转人工或升级处理。

场景 3：内容审核

社交媒体平台每天产生数十亿条内容，人工审核根本不可能。NLP 系统自动识别：这条内容是否包含仇恨言论、是否涉及虚假信息、是否违规。更进一步，更先进的 NLP 可以理解语境——同样的话在不同语境下含义完全不同，这是 NLP 领域最难的挑战之一。

场景 4：医疗文本分析

医生写的病历中包含大量非结构化的自然语言信息（"患者主诉胸痛3天，伴轻微气促"）。NLP 系统可以自动从这些文本中提取结构化信息（症状=胸痛，时长=3天，伴随症状=气促），用于临床决策支持、科研分析和保险理赔。

误区一：NLP = LLM = ChatGPT

NLP 是一个学科，LLM 是这个学科目前最成功的技术路线，ChatGPT 是这条技术路线的一个产品。三者之间是学科→技术→产品的关系。把 NLP 等同于 ChatGPT，就像把"物理学"等同于"iPhone"一样——忽略了整个学科的知识体系和多样化的应用场景。

误区二：NLP 已经"解决了"

远没有。大语言模型在流畅生成和人机对话方面取得了突破，但 NLP 的核心难题——真正的语义理解、常识推理、跨语言知识迁移——依然是开放问题。LLM 可以在对话中显得很聪明，但给它一段复杂的法律合同让它判断是否存在条款冲突，它可能给出一个听起来合理但实际错误的答案。

误区三：中文 NLP 和英文 NLP 差不多

差距不小。中文 NLP 面临英文没有的挑战：中文没有天然的词边界（需要分词）、同音词多（"银行"和"很有型"中的"行"完全不同）、古诗词和成语的使用、繁简体差异、方言语境等。一个在英文上表现优异的 NLP 系统，直接搬到中文环境下可能水土不服。这也是为什么通义千问、文心一言等中文原生大模型有独特的存在价值。

NLP 的历史比大多数人想象的悠久，而且充满戏剧性：

• 1950 年：图灵测试提出——"判断机器是否具有智能，看它能否用自然语言与人类对话而不被识破"。NLP 被设定为 AI 的终极试金石
• 1954 年：Georgetown-IBM 实验——机器首次"翻译"了 60 句俄语到英语（用了 6 条规则和 250 个词的词典）。媒体宣称"翻译问题将在 3-5 年内解决"——实际上花了 60 多年
• 1966 年：ELIZA——世界上第一个聊天机器人，扮演心理治疗师的角色。它只是用简单的模式匹配（把"我很难过"变成"为什么你觉得难过？"），但很多人真的对它产生了情感依赖。这是最早的"AI 幻觉"——人类倾向于给机器赋予过多理解能力
• 1990s：统计 NLP 的黄金时代。IBM 的统计机器翻译系统标志着规则方法的终结
• 2013 年：Word2Vec——一种把词变成向量表示的简单方法，让计算机能"理解"语义相似性（国王-男人+女人≈女王），轰动学术界
• 2017 年：Transformer 架构发布——这篇论文后来成为 NLP 的"圣经"，也是所有 LLM 的基础
• 2018 年：BERT 刷新了 11 项 NLP 基准测试的记录，标志着预训练时代的到来
• 2022 年：ChatGPT 让 NLP 从学术圈走进大众生活

故事一："The Bitter Lesson"——AI 领域最被引用的博文

2019 年，强化学习之父 Richard Sutton 写了一篇只有 3 页的简短博文，标题叫《The Bitter Lesson（苦涩的教训）》。核心思想只有一句话：AI 历史上 70 年的每一次重大进步，最终都来自"更多算力 + 更多数据"的简单方法，而不是人类专家精心设计的精巧规则和知识。

他举了多个例子：计算机国际象棋——当年研究者花了几十年把人类象棋知识编码成规则和策略，最终赢了人类世界冠军的不是这些精巧系统，而是使用暴力搜索 + 自我对弈的 Deep Blue。语音识别——几十年的人力特征工程，被端到端深度学习一把推翻。NLP——语言学家手写的规则被统计方法碾压，统计方法又被大规模预训练模型碾压。

Sutton 的结论是：我们应当研究能够持续利用算力增长的方法（如学习和搜索），而不是试图把人类知识硬编码到 AI 系统中——因为算力永远在增长，而人类的领域知识是有限的。这篇文章成为整个 AI 领域的"圣经"级引文，也是理解"为什么 NLP 从规则系统走向了 LLM"的最深刻思考。

故事二：ELIZA —— 世界上第一个聊天机器人，和它带来的震惊

1966 年，MIT 的计算机科学家 Joseph Weizenbaum 写了一个叫 ELIZA 的程序。ELIZA 模拟心理治疗师，用非常简单的方式工作——当你输入"我很难过"，它会匹配模式，回复"为什么你觉得难过？"；当你提到"妈妈"，它会说"告诉我更多关于你妈妈的事情"。ELIZA 完全没有理解任何东西——它只是一个模式匹配器，总共只有几百行代码。

但接下来发生的事情让 Weizenbaum 彻底震惊了。他的秘书在试用 ELIZA 后，要求他离开房间，因为"这是一次私密对话"。很多使用者对 ELIZA 产生了真正的情感依赖——他们知道这是程序，但依然向它倾诉内心最深处的困扰。Weizenbaum 的震惊最终使他转向了对 AI 的严厉批判——他在 1976 年出版的《计算机能力与人类理性》一书中警告："有些事情计算机不应该做，比如做心理治疗。"

这个故事在 ChatGPT 时代被反复提起——当你和 ChatGPT 聊天时感受到的那种"被理解"，和 1966 年的打字机前坐着跟 ELIZA 聊天的秘书，本质上有多大的不同？这是一个让所有 AI 从业者反思的问题。

故事三：BERT 和 Sesame Street 的奇妙命名

2018 年 Google 发布了 BERT（Bidirectional Encoder Representations from Transformers），一次性刷新了 11 项 NLP 基准测试的记录。BERT 这个名字是一个美妙的双关——它既是缩写，也是《芝麻街》（Sesame Street）里的一个经典角色。

这引发了一个学术圈的"命名传统"：接下来的几年里，NLP 模型纷纷用芝麻街角色命名——ELMo（2018，在 BERT 之前）、Big BIRD、ERNIE（百度的模型，没错，也是芝麻街角色）、Grover。这个命名传统体现了 NLP 研究圈的一种自嘲式幽默——"我们搞的研究其实就是在芝麻街上课嘛"。

直到 GPT 和 Llama 命名的兴起，芝麻街命名传统才逐渐退场。但它留下了一个有趣的文化印记：2018-2020 年的 NLP 黄金时代，是用儿童教育节目的角色来命名的。

争议：中文 NLP 是被忽视的"第二世界"？

全球 NLP 研究严重偏向英文。大多数突破性论文的训练和评测都在英文上进行。这导致了一个尴尬的局面：许多"SOTA"（最先进的）NLP 模型在中文上的表现显著差于英文。中文面临的独特挑战——分词、多音字、成语、古文引用、繁简体差异——长期以来没有得到足够的学术关注。

2023 年后情况开始改变，但争议仍在：我们到底应该追求一个"所有语言通用的"多语言大模型（如 GPT-4、Gemini），还是应该为不同语言构建专门的生态系统（如中文的通义千问、文心一言）？通用主义的支持者认为语言差异最终会被足够大的模型"吸收"；本土主义的支持者则认为文化语境差异需要专门的训练和优化。目前看来，两种路线会长期共存。