对齐系统的输出通常是一组实体对应关系,但“对了多少”并不是一个脱离语料与协议的客观常数。评估依赖人工参考映射、测试用例范围、匹配关系类型、阈值和统计方式;其中任何一项变动,都可能让分数含义改变。本文不重复对齐算法如何找候选,而聚焦评估本身:以 OAEI 2025 为例,读懂 reference alignment、Precision/Recall/F-measure 和各 track 的任务差异,并解释为什么高分不能直接等同于上线价值。
参考映射不是全世界的映射清单
Benchmark 的 reference alignment 通常是某一组源本体与目标本体之间,经人工整理或由特定流程构造的参考对应关系。它给评测提供可操作的判断依据:系统输出若命中参考中的对应,记为正确预测;若输出未被参考收录,按该 benchmark 的二元判定方式计为未命中参考的预测。这里的“未命中”是评测标签,不自动等于现实语义中必然错误。参考数据没有记录某个映射,可能是它确实不成立,也可能是标注范围、时间或专家判断没有覆盖到它。
OAEI 2025 Conference track 把这一点展现得很具体。该 track 有 16 个会议领域本体,但页面所述 crisp reference alignment 只覆盖其中 7 个本体的两两组合,共 21 个测试用例;若对全部 16 个本体逐对组合,则有 120 种可能组合。这个基准范围足以比较一批系统在指定用例上的表现,却不能据此说它覆盖了所有本体对、所有领域概念或所有实际使用情境。评测者还提供不同版本的参考对齐:ra1 是原始版本;ra2 在 ra1 上计算传递闭包,并经检查处理冲突;rar2 则在 ra2 上进一步检测并处理违反保守性原则的对应关系。结果页把 rar2 作为本年度主要参考版本,并分别报告仅类别的 M1、仅属性的 M2,以及类别与属性合并的 M3。版本和评测对象一换,系统面对的“标准答案”也可能变化。
该 track 还区分 crisp 与 uncertain reference alignment。crisp 版本中对应关系的置信度设为 1.0;Conference 页面说明,不确定版本的置信度反映 20 人群体对某个对应关系有效性的认同程度。它比“所有映射都绝对确定”的标签更能呈现标注共识差异,但不能简单读成现实正确概率,也不是对未来业务后果的概率估计。置信度描述的是参考集如何表达判断,而不是替代判断本身。
知识图谱类任务更直接暴露了参考集不完备的问题。OAEI 2025 Knowledge Graph track 同时评估 schema 与 instance 匹配:schema 对应由专家制作,实例对应从 Wiki 页面的外链部分抽取;官方页面明确称,由于类别和实例规模很大,使用的是 partial gold standard。它分别报告 schema、instance 与整体表现。这样的参考集仍可用于一致地比较系统,但实例层未被标注的对应不能被误读为已确认的负例。Digital Humanities track 则说明各测试案例有人工编制的参考对齐,并以语义、词汇与词性相似性为参考依据;页面没有声称其标注穷尽该领域全部可能关系,因此也应把“人工 gold standard”理解为有明确来源的评测基准,而非领域知识全集。
因此,阅读任何 P/R/F 分数前,先问三个问题:参考答案覆盖哪些对象与关系类型?缺少标注的候选在该协议下如何计数?置信度代表专家共识、机器分数还是其他属性?若这些问题没有答案,单看分数的小数位并不会带来更高可信度。
Precision、Recall 与 F 值:分数到底汇总了什么
在固定参考集和判定规则下,评估通常把系统输出分为三种计数:TP 是系统提出且在参考映射中找到对应的关系;FP 是系统提出、但参考集没有收录的关系;FN 是参考映射有、而系统没有找回的关系。于是 Precision = TP / (TP + FP),衡量输出中有多少命中参考;Recall = TP / (TP + FN),衡量参考映射中有多少被找回。它们是相对这份参考集的覆盖与命中,并不独立证明候选的现实语义正确或错误。
F 值把这两个方向压缩为一个摘要。F1 是 Precision 与 Recall 的调和平均;一般的 Fβ = (1 + β²)PR / (β²P + R)。β 大于 1 时更偏重 Recall,β 小于 1 时更偏重 Precision,所以 F2 更看重召回、F0.5 更看重精确。OAEI Conference 2025 结果页同时列 Precision、Recall、F1、F2 和 F0.5;阈值可调的系统,结果按取得最高平均 F1 的阈值报告。这个阈值是参照当前 benchmark 目标得到的工作点,不应直接当成所有企业数据都合适的生产阈值。比如,错误地把两个概念合并可能造成下游推理或数据写入损害,漏掉一个可补充映射的代价则可能不同;F1 本身并没有业务成本模型。
聚合方式同样重要。Conference 结果页把 21 个测试用例里的 TP、FP、FN 绝对数量分别汇总,再计算 Precision 和 Recall,即 micro average。它让每个对应关系实例对总体计数贡献相同,因此映射规模较大的测试对影响更大。Macro average 则先逐测试对计算指标、再对测试对平均,让每一对拥有相同权重。两者回答的问题不同;micro 不是“更正确”的宏平均,macro 也不是对 micro 的另一种舍入。OAEI 页面特意提示,micro 结果可能与 SEALS 平台的 macro 结果略有差异,故不能只因数值不同就判断某一方算错。
评测前的过滤也会改变分母。Conference 结果页说明,在计算指标之前,会从系统输出中排除 instance-to-any_entity 及 owl:Thing-to-any_entity 对应,因为参考对齐不包含这些项目。这是该 track 的评测约定,不代表所有对齐任务都该使用同一过滤。复现实验时如果一个实现先过滤、另一个未过滤,即便使用相同匹配器、相同参考文件,计算的也不是同一组预测。
还要分清“阈值分类”与“候选排序”。P/R/F 需要把输出看作一组已提交的匹配;阈值改变时,系统会在 Precision 与 Recall 之间移动。若榜单展示经过调参的最优 F1,它表达的是在给定参考集上可达到的较好工作点,不等于系统预先给每个候选都输出可靠概率。更不能从 F1 单个数值看出模型的校准情况、不同错误类型的代价或复核成本。
OAEI 不是一个所有任务共用的计分器
OAEI 是一组互相关联的评测 track,而不是一份跨任务通用排行榜。2025 年主页列出本体 schema matching、复杂对应、交互式匹配、知识图谱 schema 与 instance、实例匹配、链接发现和表格到知识图谱等不同任务。下面几种评测设计说明了为何“本届 OAEI 分数”必须连同 track 和 protocol 一起说。
| Track | 任务与参考信息 | 评估侧重点 |
|---|---|---|
| Conference | 会议领域本体;7 个本体构成 21 个测试对;提供 ra1、ra2、rar2 参考版本 |
crisp / uncertain 参考对齐,类别与属性分层,P/R/F 系列;结果按汇总 TP、FP、FN 的 micro 口径呈现 |
| Digital Humanities | 8 组跨学科测试案例,含考古、文化史及数字人文与计算机科学;每组有人工参考对齐 | MELT 对照参考计算 Precision、Recall、F-measure,并考察运行时间和最大内存 |
| Knowledge Graph | 孤立 Wiki 图谱,schema 与 instance 同时匹配;实例参考来自页面外链,schema 参考由专家整理 | partial gold standard;分开观察 schema、instance 与总体指标,不能把未标注实例直接视为确定负例 |
| Multifarm | Conference 本体的多语言版本,测试不同语言组合 | 页面列出 Precision、Recall、F-measure 与运行时间;其问题是多语言匹配,不等于单语 schema 的同一难度 |
| Interactive | 需要用户参与的匹配系统,以 reference alignment 为依据的 oracle 提供评估基础 | 重点研究交互是否改善匹配、哪些方法有前景及需要多少次交互;不是只比较一次运行的静态输出 |
| Beyond Equivalence | 产品分类与其他本体对齐用例,标注等价、父类、子类、重叠、互斥等关系 | 目标不止是判断“是否等价”;页面介绍任务关系类型,但没有给出可据此统一换算为普通 P/R/F 的评分公式 |
这些项目说明,即使两个 track 都使用人工参考,测试任务仍可能不同:语言、映射类型、图谱层级、用户介入、部分参考集以及时间和内存约束都会改变结果的解释。OAEI 主页还说明,多数 track 使用 MELT,部分实例匹配或链接发现任务采用 HOBBIT,Interactive 使用 SEALS client,TD→KG 有独立评估流程。统一参赛机制有助于复现,不等于统一的评价语义。比较系统时应在同一任务和同一协议内比较;跨 track 只适合讨论能力覆盖,不应把指标大小横向排成总冠军。
高 benchmark 分不等于高部署价值
Benchmark 解决的是可控比较问题:固定数据、固定参考映射、固定评测流程,让不同系统面对相同任务。部署价值则取决于具体组织的本体、数据质量、业务错误代价、版本变化和使用者工作流。两者相关,但不是同一个变量。OAEI 上表现好,说明该系统在对应 track 的测试协议下更符合参考;它并不自动证明系统对某企业的缩写、历史字段、中文别名、独有关系方向或映射治理规则同样有效。
尤其要谨慎对待“找得越多越好”。在等价映射上,过量候选可能把仅有交集、上下位或业务上近似的概念强行当成同一类;反过来,只追求 Precision 也可能漏掉支持数据互通的合法映射。Beyond Equivalence track 的存在本身就提示:语义集成不总能被压成一个“等价/不等价”位。若应用需要表达包含、重叠或互斥关系,评测标签也要保留相应类型,不能把所有对应关系二值化以后再把结果当作完整语义质量。
企业评估应把公开 benchmark 当作外部参照,再补一份本地测试协议,而不是从排行榜抄一个 F1 目标。先明确要评的是等价、子类、实例链接还是其他关系;把专家确认的正例、明确反例与暂时未知分开记录;按来源、类别/属性、关系类型、数据规模和时间切片报告错误;阈值在验证集上选择,测试集只用于最终评估。对不完整标签,随机抽取未命中与“假阳性”样本请领域专家复核,并记录缺标签和争议,而不是默认所有未收录关系必然无效。
最后把分数之外的成本一起测:映射引起的不一致或不保守推理、人工复核比例、数据转换后的任务效果、运行时间、峰值内存、版本升级后的回归情况。Conference track 的 rar2 评估体现了把保守性违规单独纳入考量的做法;Digital Humanities 另测运行时间与内存;交互式 track 关注人机互动。它们不是同一个指标,却提醒我们对齐系统的实际质量是多维的。正式上线前还要用自身数据验证变更与回滚路径。
可以把对齐评估的阅读顺序收敛为一张图:先确定任务及参考版本,再按 track 规则筛选系统输出,之后才统计命中和遗漏;运行与交互成本需另行保留,不能塞进 F1 代替。
flowchart LR
A[系统输出的候选映射] --> B[track 规定的筛选与关系类型]
B --> C[与指定版本的参考映射对照]
C --> D[统计 TP FP FN]
D --> E[Precision Recall F-measure]
C --> F[独立记录时间 内存 交互与逻辑影响]
E --> G[仅解释为该协议下的结果]
F --> G
换句话说,评测报告应把“数据集、参考版本、映射类型、过滤、阈值与聚合方法”当成分数的一部分公布。缺少这些上下文,F1 看似精确,实际含义却不完整。
小结
OAEI 2025 的评估不是一个脱离任务的总分,而是多种数据集、参考映射与 protocol 的集合。Precision、Recall 与 F 值只说明系统输出相对于某份参考集的命中、覆盖和权衡;当 reference alignment 不完备、版本不一或任务含义变化时,分数必须连同它的边界来读。基准是比较工具,不是部署价值的替身。
参考资料
- OAEI 2025 Conference track 评估结果 — crisp reference 版本、过滤规则、micro 统计和 P/R/F 系列指标的具体定义。
- OAEI 2025 Conference track — 会议本体、测试范围、reference 版本与不确定对齐说明。
- OAEI 2025 各 Track 总览 — 不同评测 track、任务种类与工具平台。
- OAEI 2025 Digital Humanities track — 人工参考对齐、P/R/F 与运行资源评估。
- OAEI 2025 Knowledge Graph track — schema/instance 分层与 partial gold standard 的官方说明。
- OAEI 2025 Multifarm track — 多语言测试组合及指标。
- OAEI 2025 Beyond Equivalence track — 等价之外的关系标签与评测任务。
读者留言
COMMENTS 暂无还没有留言,来说第一句?