本体驱动检索(上):从关键词到语义召回

你在用一个只有全文检索的内部知识库找「采购部的供应商准入流程」,它返回每一处提到「准入」的段落,却不认识「供应商」与「vendor」是同一件事,也不知道「供应商管理」挂在「采购部」之下。这就是关键词检索的天花板。检索技术三十年走了三代,每一代解决上一代的一个缺陷、又暴露自己的新缺陷。本篇把这条演进线讲清楚,给出本体检索的原语集与当前的混合检索工程形态,并为下一篇的 GraphRAG 全局问答铺路。

三代检索演进

三代检索

先立一个判断:三代不是简单的「后者取代前者」。今天所有主流引擎(Elasticsearch、OpenSearch、各云厂商的搜索服务)都是多代能力的混合体——关键词检索是底盘,向量检索与图扩展作为可插拔能力叠加其上。理解每一代的原理与边界,比追逐「最新一代」更有工程价值。

第一代:关键词检索

倒排索引(inverted index)加 BM25 打分,是过去三十年检索的绝对主力:文档拆词建索引,query 按词命中,按词频与文档长度打分排序。它精确、快、行为完全可控,几十年打磨得极其成熟。缺陷在于它只做字面匹配——不懂同义(「退款」搜不到只写「退货退回」的文档)、不懂层级(「采购部」与「供应商管理」的关系对它不可见)、不懂跨字段结构。

第一代的成熟度反而值得学习:倒排索引把「命中」从线性扫描变成查表,BM25 用词频饱和与文档长度归一,修掉了早期 TF-IDF 的两个老毛病(长文档占便宜、高频词失真)。它的所有设计都围绕一个目标——快——亿级文档上毫秒级返回,这个性能基线后来者至今没有真正打破,也因此它始终是混合检索里不可替代的一路。

第二代:向量检索

embedding 模型把文本压进稠密向量空间,语义相近的文本向量距离相近,再由 ANN 索引(如 HNSW)做近邻检索。它解决了语义鸿沟:query 写「退款」也能召回「退货退回」的文档。代价是丢掉了结构——每段文本是向量空间里一个孤立的点,实体之间的类型、层级、多跳关系全部不可见;精确约束(类型、时间、数值范围)也只能退化为在 query 里堆关键词碰运气。

向量检索的成败一半在 embedding 模型本身:通用模型对中文业务语料的判别力有限,领域适配(继续训练或更换领域模型)常带来可观的召回提升;另一半在 ANN 索引的参数权衡——召回率、延迟与内存占用构成三角,调哪一个都有代价。这些工程细节决定了「上线快」与「上线好」之间往往隔着一轮调优周期。

第三代:语义图检索

把知识图谱引入检索链路:实体链接把 query 挂到图谱节点上,子图扩展与多跳遍历沿着本体关系走,最终返回的不是「文档列表」而是「结构化的子图」。它不取代前两代,而是补上「结构」这一维。

语义图检索的早期形态是知识图谱问答与图谱补全研究;LLM 时代它被重新发明为 GraphRAG 与各类图谱增强检索(Graph-based RAG)。今天它的工程含义很具体:检索的返回单位从「文本块」升级为「带类型与关系的子图」,而本体检索的四个原语(下一节)就是它的组件清单。

小结:三代各自解决一类匹配——字、意、结构;成熟的检索系统是三者并用,不是三选一。

向量检索的三个天花板

向量检索很好,但三类问题它结构性做不好,而这三类问题在企业场景里出镜率极高。

  • 多跳问题:「A 公司最大合作方的 CEO 是谁」——第一跳的答案(合作方)不是最终答案(CEO),向量检索只能召回提到 A 公司或提到 CEO 的段落,中间那一步「合作」关系链拼不出来。检索结果的完整性取决于运气。
  • 聚合与排序:「近三年被引用最多的十个方法」——答案是一个聚合结果,不存在于任何单一段落里;召回式检索天生不适配「先收集全量、再计算」的答案形态。
  • 精确约束:「2025 年之后生效的、类型为『框架合同』的协议」——类型与时间过滤在向量空间里没有对应的运算,语义相似的「意向书」「补充协议」也会混进来。

这三个天花板有一个共同根源:向量检索只保留了「语义相似」这一种关系,而现实问题还需要「类型约束、层级包含、多跳连接、聚合计算」——这些恰恰是本体用形式化表达持久保存的东西。所以天花板不是模型不够大,是表示不够用;换更大的 embedding 模型解决不了结构缺失。

小结:向量检索解决「说得绕也能找到」,解决不了「关系要跨几跳、答案要算出来、条件要卡得死」——这三个「不」正是本体检索的用武之地。

本体检索的四个原语

本体检索不是一种新索引,而是一组架在图谱之上的检索原语,可以与前两代自由组合。

  • 实体链接(entity linking):query 到本体实体的映射。识别 query 里的「采购部」「供应商准入」并挂到图谱节点上,是整条链路的第一公里——链接错了后面全错。工程上靠「别名表 + 向量相似 + 上下文消歧」三件套,覆盖不了的实体进兜底路径。
  • 类型感知过滤:检索范围直接按本体类型裁剪——「只在『合同』类里搜」。因为类型是显式建模的,这是硬过滤而非相似度近似,又准又快。
  • 关系扩展(relation expansion):命中实体后沿本体关系走一跳或多跳,把邻居(合作方、审批记录、下属流程)纳入召回。本体的角色是「扩展路线图」:没有本体,扩展是盲目游走;有了本体,扩展是沿语义边界的定向行走。
  • 路径与子图排序:多跳产生的候选子图需要排序,按路径置信度、实体热度、与 query 的相关度综合打分——图越大,这一步越重要。

两个工程补充。其一,实体链接的难点不在「链接到谁」而在「要不要新建」——库里没有的实体,是进待审池还是硬建?建议硬性走待审池,让新建实体的速度慢于抽取速度,用评审节奏控制图谱膨胀。其二,扩展深度的选择是艺术:一跳保精准,二跳出结构,三跳以上基本是噪声;本体的另一个作用是给边加权——关键关系(如「隶属」)扩展权重高,弱关系(如「同分类」)低,让噪声在遍历阶段就被抑制。另外,类型感知过滤还有一个常被低估的收益是性能:按类型裁剪后候选集合从全库缩到单一类型子集,向量检索与图遍历的延迟都显著下降,「先类型后相似」的执行顺序几乎是免费的质量优化。

混合检索

工程上的正确答案是三路并用:BM25 保精确关键词与专有名词,向量保语义泛化,图保结构化跳转,然后融合。融合的主流方法是 RRF(Reciprocal Rank Fusion,倒数排名融合),出自 Cormack、Clarke 与 Büttcher 2009 年的 SIGIR 论文:每一路结果里,文档按名次贡献 1 / (k + rank) 的分数,跨路累加后重排。它只用名次、不用分值,避开了 BM25 分数与向量余弦分数量纲不可比的老问题,鲁棒且无需调参,至今仍是混合检索的事实标准——Elasticsearch 原生提供 RRF retriever,OpenSearch 从 2.19 版起在 Neural Search 插件中内置 RRF,Azure AI Search 与 MongoDB Atlas 等也把它作为混合检索的默认融合方式。

flowchart LR
  Q["用户 Query"] --> B["BM25 全文检索"]
  Q --> V["向量近邻检索"]
  Q --> G["图检索:实体链接与子图扩展"]
  B --> R["RRF 融合"]
  V --> R
  G --> R
  R --> S["重排与过滤"]
  S --> C["序列化为 LLM 上下文"]

值得注意:图这一路与传统两路不同,它的召回单位常常是子图而非文档块,进入融合前需要先按「子图锚定到哪些文本块」拆解,才好与其他两路对齐排序。更轻量的做法是给图路开独立通道:具体实体问题(「A 公司的法定代表人是谁」)直接由图路出答案,不进融合——这类问题图路自身就比其他两路强。

RRF 之外的融合路线是打分归一:把 BM25 与向量分数各自归一(min-max 或 L2)后加权合并,OpenSearch 的混合检索管线同时支持这两种方式。归一路线保留分值幅度信息、支持按业务调权重,但要为每路分数量身调参;工程上的经验法则是默认 RRF,等有了明确的调参能力与离线评估体系,再考虑加权归一。

混合架构上线后要建立检索评估集(几十到几百条带标注答案的 query),三路各自的贡献用「去掉某路」的消融实验量化。很多团队的图路贡献为负,根因是实体链接质量不行——这件事只有在消融数据上才能看见,看不见就修不对。

小结:混合检索的关键不是堆召回路数,而是每一路各司其职后用对融合方法——RRF 的简单性正是它长期统治这个位置的原因。

检索即上下文工程

图检索的产出是子图,而子图不能直接塞给 LLM,要先序列化。三种风格各有取舍:

  • 三元组流:每行一条「主语 谓语 宾语」,紧凑省 token,适合大子图喂给长上下文模型;缺点是可读性差,模型对隐式关系的把握不如人。
  • 自然语言化:把子图改写成短段落,模型理解成本最低,但改写本身要过一次 LLM,有生成成本与失真风险。
  • 表格:同类型实体多时用表格列属性,对齐清晰,适合「列出所有符合条件的 X」类查询。

共性原则是:保留实体的类型标签与每条事实的来源引用,让下游模型能「引用出处」——这与灌库时的证据回链一脉相承,证据链从抽取一路带到生成。

序列化还有一个隐性维度:多路结果的去重与组织顺序。BM25 与向量路常召回同一文档的不同段落,进上下文前按文档聚类、按段落位置排序,能让 LLM 把「同一文档的多个片段」读成一个整体;子图与文本块混排时,把子图放前、文本放后通常更稳——结构先给框架,文本补细节。

小结:检索的终点不是「返回结果」,而是「组装上下文」——三代检索技术最终都服务于同一个目标:让 LLM 在正确的语义结构上作答。而当问题升级到「对整批文档做全局总结」时,片段召回加子图扩展还不够,需要把整个文档集合组织成层级化的语义单元——这就是下一篇的主角 GraphRAG。

参考资料

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?