混合检索(Hybrid Search)
混合检索把关键词搜索的"精确"和语义搜索的"理解"结合在一起——各取所长,是目前生产环境的检索标配。
① 一句话定义
混合检索(Hybrid Search)是将关键词检索(如 BM25)和语义向量检索的结果进行融合的搜索策略。它利用关键词检索的精确匹配能力(搜"iPhone 15"不会返回"Samsung Galaxy")和语义检索的理解能力(搜"性价比高的手机"能找到"千元机推荐"),通过加权融合两者的分数得到最终排序。
② 为什么重要
纯语义检索在某些场景下会犯低级错误——比如用户搜自己的订单号"ORD-20240624-8891",语义检索可能返回"订单查询帮助文档"而非这个具体订单的信息。关键词检索恰好能处理好这种精确匹配。混合检索让两者互补。几乎所有生产级 RAG 系统最终都会走到混合检索。单独用语义或关键词检索在综合场景下总有一类问题处理不好。
③ 核心机制
混合检索的融合策略:分数归一化+加权求和——分别得到关键词分数和语义分数,归一化到同一尺度,按权重加起来得到最终排名。权重是需要调的超参数——技术文档搜索可以关键词权重高一些(70:30),对话式搜索语义权重高一些(30:70)。更高级的方案是使用 Learn-to-Rank(用标注数据训练一个模型来学习最佳融合权重)。
更多
在图书馆找书:先用电脑搜索精确书名,再去书架浏览相关主题。
你记得一本书叫《深入浅出统计学》,去图书馆找它。方案A(纯关键词):在电脑上搜"深入浅出统计学"→精确找到这本书,索书号 C8/077。方案B(纯语义):你走到统计学的书架区,浏览每一本书的书脊——你可能找到《统计学导论》《概率论与数理统计》等相关的书,但你可能找不到那本精确的《深入浅出统计学》——因为它在"C语言"书架旁边(分类编错了)。
方案C(混合检索):先用电脑精确搜书名找到索书号,直达目标书架;同时用语义浏览找到同一片区的所有统计学书籍。两个结果合并,你既拿到了精确匹配的目标书,又发现了可能相关的《统计学入门》。这就是混合检索——两个方案各取所长,覆盖对方的盲区。
「混合检索 = 关键词的精确 + 语义的理解。不要选"用哪个",两个都用——这是 RAG 检索环节最成熟的最佳实践。
」