模型幻觉（Hallucination）
模型幻觉是指 AI 会自信地编造出听起来合理但完全虚假的信息。这是使用 AI 必须建立的核心风险意识，也是 AI 安全领域的头号挑战。
① 一句话定义
模型幻觉（Hallucination）是指大语言模型生成的输出看似合理但实际与事实不符，包括编造不存在的引用、虚构人物和事件、给出错误的数据。它是 LLM 最受关注的风险之一，也是限制其在高风险领域（医疗、法律、金融）落地的首要障碍。
② 为什么重要
幻觉问题关系到 AI 是否可信：
- 信任危机：如果一个 AI 助手 90% 回答准确但 10% 在胡编，用户必须花时间逐条验证——这反而降低了效率。
- 安全风险：在法律咨询中虚构法条，在医疗建议中编造药名，可能造成真实伤害。
- 产品声誉：一个因幻觉出错的案例，就足以让用户对你的 AI 产品失去信任。
③ 核心机制
幻觉的本质原因在于 LLM 的统计本质——它预测下一个 Token，而不是"验证事实"：
1. 概率最大化 ≠ 真实性最大化：模型训练的目标是最大化训练语料中 Token 序列的概率，不是"说正确的话"。当一个"听起来合理但实际错误"的序列在训练数据中出现频率高时，模型会优先选择它。
2. 知识截止日期：模型的训练数据有截止日期。关于最新事件的问题，模型只能"猜"——没有信息就只能编。
3. 低概率区域的泛化失败：当问题涉及训练数据中很少出现的领域（niche topics），模型的概率分布变得平坦，任何预测都接近随机选择。
4. 上下文误导：用户提示中的预设错误信息会导致模型"配合演出"——这就是"引导性幻觉"。
④ 典型应用场景
学术写作：模型生成看似格式正确但完全不存在的参考文献。
代码生成：模型调用不存在的 API 或使用虚构的库。
医疗咨询：模型对症状给出听起来专业但危险的错误诊断。
商业分析：模型生成精确但虚构的市场数据和统计数字。
⑤ 常见误区
误区：幻觉是模型的"bug"
✅ 实际上：幻觉是 LLM 统计本质的固有特征，不是可以彻底修复的 bug。降低幻觉率可以，消灭幻觉目前不可能。
误区：更大的模型幻觉更少
✅ 实际上：更大模型通常在常见领域幻觉率更低，但在冷门领域反而可能更"自信地错"——因为它的生成更流畅，听起来更像真的。
误区：RAG 能完全消除幻觉
✅ 实际上：RAG 通过外部知识库来约束回答，能大幅降低幻觉，但检索本身可能出错（检索到不相关内容），模型也可能忽略检索结果继续"脑补"。
「模型幻觉是 LLM"张口就来"的本性——它能写出完美的论文格式，但内容可能是虚构的。用 AI 产出的每一条"事实"，都应该默认保持三分怀疑。
」