Embedding
Embedding 是将文字、图片等"人类可理解的信息"转换成"机器能计算的向量"的技术。它是所有 AI 理解语义的基础——没有 Embedding，模型就不知道"猫"和"猫咪"是一个意思。
① 一句话定义
Embedding（嵌入向量）是将文本、图像、音频等非结构化数据，映射为一个固定长度的密集向量（一列数字），使语义相似的输入在向量空间中彼此靠近。它是 AI 理解语义的"数学基础"。
② 为什么重要
Embedding 是连接"人类概念"和"机器计算"的桥梁：
- 语义搜索的基础：查询向量与文档向量的余弦相似度，就是搜索引擎判断"相关性"的数学语言。
- RAG 的核心组件：检索增强生成的第一步，就是用 Embedding 在全量文档中找到最相关的内容。
- 多模态对齐：CLIP 等模型用 Embedding让文本和图像在同一向量空间中对齐——"猫"的文本向量靠近猫图片的向量。
③ 核心机制
Embedding 的核心思想是"分布表示"——不是用一个符号代表一个词，而是用一个多维向量中每个维度的数值组合来表示语义：
1. 从 One-hot 到 Dense Vector：早期 NLP 用 one-hot（词表大小的稀疏向量），无法表达语义关系。现代 Embedding 用 768-4096 维的稠密向量，语义相近则向量相近。
2. 训练方式：Embedding 模型通常通过对比学习训练——拉近相似内容的向量，推远不相关内容的向量。Word2Vec 用相邻词预测，现代模型用句子级对比损失。
3. 向量运算的神奇性质：训练良好的 Embedding 支持语义算术。经典例子："King - Man + Woman ≈ Queen"——这在向量空间中被精确地计算出来。
4. 相似度度量：最常用的是余弦相似度（Cosine Similarity），衡量两个向量方向的接近程度，取值 -1 到 1。
④ 典型应用场景
语义搜索：用户搜索"怎么学 Python"，能找到标题不含这些词但内容相关的"Python 入门教程"。
推荐系统：基于用户历史行为的 Embedding 推荐相似内容。
聚类分析：对大量文本做 Embedding 后进行聚类，发现隐藏的主题分组。
异常检测：与正常样本的 Embedding 距离过远的点可能是异常数据。
⑤ 常见误区
误区：向量维度越高越好
✅ 实际上：更高维度可以编码更丰富的信息，但也带来更大的存储和计算成本。768 维和 4096 维在很多场景下效果接近，但后者成本高 5 倍。
误区：Embedding 是绝对准确的语义表示
✅ 实际上：Embedding 是对语义的有损压缩。它可能把"苹果手机"和"苹果水果"的向量拉得很近，也可能会漏掉微妙的语义差异。
「Embedding 把"意思"变成了"数字"——当语义变成了向量，计算机就能用数学来"理解"你。
」