AI 资讯 知识库 本体论Palantir Foundry 深度研究(五):Object Set、语义检索与查询 API

Palantir Foundry 深度研究(五):Object Set、语义检索与查询 API

系列前作《本体驱动检索》上下篇讲过检索的方法论:从关键词到语义召回、GraphRAG 的全局问答。本篇看 Foundry 把这套方法论落成了什么——它的检索面由三部分组成:对象集(Object Set)查询代数、语义检索(vector 属性 + 近邻搜索)、以及把它们暴露成标准接口的 REST API。最大的特色不在「能搜」,而在两个耦合:检索结果天然经过权限过滤,检索终点直接连着动作执行。

flowchart TD
  Query[用户查询 / Agent 目标] --> Filter[权限过滤与结构条件]
  Filter --> Set[Object Set 惰性查询]
  Set -->|属性筛选| Objects[业务对象]
  Set -->|Search-around| Links[沿本体链接遍历]
  Set -->|向量近邻| KNN[Vector 属性 KNN]
  Objects --> Function[函数 / 聚合]
  Links --> Function
  KNN --> Function
  Function --> Result[带类型与权限的结果]
  Result --> Action[可选:受控 Action]

Object Set:惰性求值的查询代数

对象集是 Foundry 查询模型的核心抽象。官方文档对它的定义抓住了本质:「一个对象集允许你执行过滤(filtering)、search-around 与聚合(aggregation)操作,只有在你请求时才加载最终结果」——惰性求值。应用与函数操作的不是对象数组,而是一张可以不断组合的「查询计划」,组合到满意才一次性取数。

三大算子各司其职:过滤按属性条件收窄;search-around 沿链接遍历——从「某架飞机」跳到「它执行的所有航班」再跳到「航班的机组」,链接遍历是本体检索区别于表查询的关键能力;聚合出统计结果。对象集的四种持久形态覆盖了不同生命周期:static(保存主键集合,一次快照)、dynamic(保存过滤条件,数据更新自动跟随)、temporary(仅创建者可见,24 小时过期)、permanent。dynamic 对象集尤其妙——「我关注的所有高风险航班」不是一个查出来的列表,而是一条活着的查询,新数据进来列表自动更新。

工程上还有两条硬知识。其一,官方明确建议用对象集而非对象数组传给函数:性能更好,且「允许超过 10,000 个对象」进函数。其二,规模上限要心里有数:OSv2 上 Spark 执行的大规模 search-around 默认上限 100,000 对象。

三种语言的语法对照给一个直观印象:

TypeScript v1: aircraft.filter(a => a.capacity.range().gt(200))
TypeScript v2: client(Aircraft).where({ capacity: { $gt: 200 } })
Python:        AirplaneObjectSet.where(capacity_gt=200)

小结:对象集是一套「可组合、可持久化、可跨语言」的查询代数;search-around 算子让「关系」成为检索的一等路径。

Search Objects API:把检索暴露成标准接口

对象集模型之上,REST API 把同样的能力开给平台外的消费者。核心端点:

POST /api/v1/ontologies/{ontologyRid}/objects/{objectType}/search

过滤语法覆盖比较(lt/gt/lte/gte/eq)、空值(isNull)、包含(contains)、文本检索(prefix/phrase/anyTerm/allTerms),并用 not/and/or 组合——但有一条明确限制:查询最多嵌套三层。这不是偷懒,是查询复杂度治理:无限嵌套的过滤器表达式会把 API 变成 SQL 的劣化版,三层封顶逼迫复杂逻辑回到函数与管道里去。

聚合走独立端点(aggregateObjectSet),与检索分离——分析型负载和点查负载分开扩展。分页语义有一个官方明示的陷阱值得抄进客户端设计:一页返回的对象数可能少于请求数,因为「页内对象足够大时会触到内部内存限制」——正确姿势是循环跟随 nextPageToken,而不是「拿满 pageSize 才算有数据」。另一个规模事实:v2 Search Objects 对 OSv2 支撑的类型最多返回 10,000 个对象,而 Load Object Set 无此上限(null/vector 属性有单独说明)。

鉴权上检索接口挂 api:ontologies-read scope。但真正重要的是下面这件事——查询结果天然经过本体权限过滤。同一个查询,不同身份拿到不同结果,这不是应用层自己拼 WHERE 条件拼出来的,是平台在查询执行路径上强制执行的。BI 直连数仓的世界里,「每个人看到自己该看的」要靠视图与行级安全在各处手工重建;在这里它是检索的出厂设置。

小结:API 层的设计纪律是「约束复杂度、分离负载、权限内嵌」;「查询即授权」让检索安全从应用责任变成平台责任。

语义检索:vector 属性与三条消费路径

结构化检索之外,Foundry 在 2023-11-13 给 OSv2 引入了 vector 属性类型——语义检索的地基。生成链路两条:Pipeline Builder 的「Text to Embeddings」表达式(官方示例用 text-embedding-ada-002),或 Python transforms 里用 Palantir 提供的语言/嵌入模型(前提是启用 AIP)。嵌入向量作为 vector 属性存进对象,与业务属性同库同权限——这一点和「向量库单独部署、权限另管」的常见架构有本质区别:向量检索的授权与对象授权是同一套。

消费路径有三条,覆盖不同人群:

  1. Workshop 的 KNN 对象集(无代码):对 embedding 属性做 K 近邻过滤,K 值 1–100。限制也很实在:「KNN 对象集不能按相关度排序」。
  2. 函数:TypeScript v1 的 nearestNeighbors(K ≤ 100,需开启 enableVectorProperties)配 orderByRelevance();v2 更直接——传文本、numNeighbors 1–500、$orderBy: "relevance";Python 的 nearest_neighbors 目前 beta,结果带 _score。函数路径意味着语义检索可以被包进任何业务计算与动作前置校验里。
  3. Agent 工具:检索结果直接注册为 AIP Chatbot 的工具(官方示例「用 findRelevantObjects 工具,kValue 5」),LLM 在对话里自主调用。旧版 Ontology semantic search 工具已被官方标记 legacy,由更通用的 Ontology context 工具接棒。

值得强调的是这份「三条路径」的完整性:同一个向量属性,分析师在 Workshop 点选、工程师在函数里调用、Agent 在对话里检索——一次嵌入,三种消费。这又是本体平台经济学的一个体现:语义加工(嵌入)只做一次,消费面全部复用。

小结:语义检索在 Foundry 里不是独立子系统,而是本体属性系统的一部分——向量跟着对象走,权限跟着向量走。

向量检索也不是「有 embedding 就有语义理解」。Embedding 模型选择、文本切分、属性更新时机和相似度阈值仍由工程团队负责;源文档变更后若向量未同步重算,检索会拿到与当前对象状态不匹配的表示。对于企业问题,通常还要把向量召回与结构条件组合:先用对象权限与业务筛选(例如只查某区域、某状态的设备),再在候选对象里做近邻检索,最后由确定性函数或 Agent 依据来源字段验证证据。不能把向量分数直接当作事实置信度,也不能因检索结果相关就跳过动作前置校验。

实践上可把检索质量拆为三套评估:离线召回(已知问题能否找回正确对象)、权限负例(无权对象是否始终不可见)、业务正确性(召回后是否能支撑目标动作)。Foundry 提供对象级安全与 KNN/函数接口,但模型质量、评测数据与阈值选择仍需应用团队承担。对混合场景,语义检索可先找文档或实体,再沿链接做结构化扩展;对精确查找(订单号、资产编号),应优先用主键或精确过滤,不要让向量搜索替代确定性索引。

这也解释了语义检索与传统搜索的互补关系:关键词检索擅长精确词面与可解释筛选,向量召回擅长表达不同但语义接近的问题,本体链接擅长沿业务关系扩展,权限策略负责缩小可见集合。可靠的企业检索通常不是单一算法,而是这些能力按查询意图串接。

小结:向量检索提供候选而非真相;新鲜度、权限负例、精确字段与动作校验都要纳入评测。

检索与行动的耦合:和 BI 查询的分野

现在可以正面回答「Foundry 的检索与 BI 查询有什么区别」。表面看都是「按条件查数据」,但三个耦合决定了分野。

耦合一,检索与权限:前述「查询即授权」。BI 的行级安全是配套工程,这里的权限过滤是检索内核。

耦合二,检索与逻辑:检索结果可以直接进函数计算(对象集是函数的一等参数),也可以是派生属性的原料——检索不是终点,是计算链路的起点。

耦合三,检索与行动:这是最根本的。官方博客《The Ontology》的表述一针见血:本体是双向的——「IT 用事务系统的数据喂它,同时为它配置写回动作」。分析师查完高风险航班,下一步动作(调整排班、发送告警、创建工单)就在同一个对象视图里;Agent 检索完上下文,下一步经动作类型执行。BI 查询的终点是报表,本体检索的终点是决策与写回。查询、计算、行动挂在同一套对象上,这就是「运营架构」与「分析架构」的差异。

小结:检索的三重耦合(权限、逻辑、行动)共同支撑了 Foundry 对本体的定位——不是 semantic layer,而是 operational layer。

对 GraphRAG 的启示

把 Foundry 检索放回本系列的方法论坐标(前作 15/16 篇),可以得出一个互补分工的结论。

GraphRAG 解决的是非结构化语料的全局问答:文档切块、抽取实体关系、构建图、按社区摘要回答全局性问题——它面对的世界是「没有 schema 的文本」。Foundry 检索解决的是结构化运营数据的语义访问:对象有类型、有主键、有权限、有动作——它面对的世界是「schema 明确但散落各系统」的企业。

两者在企业里是互补关系,不是替代关系。企业的知识一半在文档(合同、报告、工单描述),一半在系统(订单、设备、库存)。Foundry 的路径是把文档侧交给 AIP Document Intelligence(OCR/视觉抽取、RAG 切块与嵌入进媒体集),把系统侧交给本体对象,两边通过链接类型和共享属性对齐,检索面(结构化查询 + KNN + Agent 工具)统一出口。对自建平台的启示是明确的:先有运营语义层,再叠文档语义层——对象是锚,文档挂锚;只建 GraphRAG 而没有对象层的团队,迟早要在 Agent 的世界里为「检索结果怎么变成可执行的动作」补课。

小结:检索的完整形态是「结构化对象 + 非结构化文档」双源合一;锚点在对象,不在文档。

参考资料

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?