语料去重:MinHash 近重复检测与索引瘦身

企业语料里同一份文件往往以五个名字出现十次:网盘里存着三个版本,邮件附件里躺着两份转发,Wiki 里还挂着一份「供参考」的过期版。重复不只是浪费存储——它污染检索排序、放大嵌入与索引成本,更隐蔽的是,它让答案系统性地偏向被复制最多的那份内容。本篇讲清重复的三种形态、MinHash 近重复检测的机制,以及保留哪一份、其余怎么处置的工程决策。

手绘信息图:语料去重的三层漏斗与体积逐层收缩示意

重复的三种形态:从复制粘贴到换皮转述

第一种是完全一致。同一份文件经多个渠道进入语料库,正文一字不差。它的检测最简单:对提取后的正文文本做哈希,哈希相同即合并。注意哈希的对象是正文文本而不是原始文件——同一份文档的 Word 版与 PDF 版文件哈希必然不同,正文哈希才一致。这一层零误杀、成本可以忽略,是漏斗的第一道网。

第二种是近重复。文档之间存在字面上的高度相似但不是完全相同:制度文件的 v1 与 v2 只差几段;一封邮件被转发三次,正文相同、头尾各异;网页转成 PDF 存档,多了页眉页脚。哈希在这里失效了——哪怕只改一个字,哈希值就面目全非,需要近似检测算法,这是本文的主角 MinHash 的领地。近重复还有一个容易漏掉的场景:OCR 语料里同一页纸扫了两遍,识别结果大部分相同、个别字符不同,恰好落在「哈希不同、字面几乎一致」的缝隙里。

第三种是语义冗余。字面已经不同,说的却是同一件事:一条新闻通稿被几十家媒体转载改写;一条制度条款同时出现在管理办法、部门细则和培训材料里,各自换了一种表述。这一层没有字面捷径可走,通常靠嵌入向量的聚簇分析来标注同源,或者干脆留给检索层去重兜底。

为什么必须认真对待重复?三层机制拆开看。成本层最直白:每个副本都要切块、嵌入、存进向量库,重复率三成意味着这三类成本白白多付三成;而且重复率越高,增量更新的牵连越广——一篇 canonical 更新了,十份副本的失效标记、重嵌入、缓存清理跟着排队。排序层更伤检索质量:top-k 窗口被同一事实的 N 份拷贝占据,每份都「真的相关」,但挤掉了本来可以进入窗口的其他内容——检索指标看着没坏,用户拿到的信息量骤减,这叫多样性塌缩。偏置层最隐蔽:生成模型面对重复内容天然「少数服从多数」,谁的转述版本最多,答案就越偏向谁的措辞与立场;当重复与版本纠缠在一起——旧版转发得比新版广——答案还会系统性地偏向过时内容。所以去重不只是省钱,它是答案公正性的问题。

一句话小结:重复分「一致、近重复、语义冗余」三级,越往后越难检测也越难自动处置,而它的伤害从成本一路深到答案的偏向性。

MinHash 与 LSH:把两两比对变成分桶抽签

先把问题的规模摆在桌上:给全库 N 篇文档找出所有相似度超过阈值的文档对,朴素做法是两两比对,N 平方量级——百万文档就是万亿次比对,任何精确算法都撑不住。MinHash 与 LSH 的组合,目标是把这件事压到近似线性。

先定义「相似」。文本先变成集合:把文档按 k 个连续词的滑窗切成片段(k-shingle),一篇文档就是片段的集合。两篇文档的 Jaccard 相似度定义为两集合交集大小除以并集大小,取值零到一。

MinHash 的直觉是一次投影:准备 h 个哈希函数,对文档片段集合,每个哈希函数把所有片段映射成整数、取其中的最小值——h 个最小值拼成这篇文档的签名。它有一个漂亮的数学性质:两篇文档签名在同一位置相同的概率,恰好等于它们的 Jaccard 相似度。于是「签名一致的位数除以 h」就是 Jaccard 的无偏估计——集合比较被压缩成了 h 个整数的比较。下面是无依赖的简化实现:

import hashlib

def shingles(text: str, k: int = 5) -> set:
    words = text.split()
    return {" ".join(words[i:i + k]) for i in range(len(words) - k + 1)}

def minhash_sig(sh: set, h: int = 128) -> list:
    sig = []
    for i in range(h):
        vals = (
            int(hashlib.md5(f"{i}:{s}".encode()).hexdigest(), 16)
            for s in sh
        )
        sig.append(min(vals))
    return sig

def est_jaccard(a: list, b: list) -> float:
    same = sum(1 for x, y in zip(a, b) if x == y)
    return same / len(a)

签名把单次比较变便宜了,但全库两两比签名仍是平方级。LSH 分桶解决这一层:把 h 位签名切成 b 段、每段 r 位,两篇文档只要任何一段完全相同,就落入同一个桶、成为候选对。参数 b 与 r 联合决定一条陡峭的 S 形曲线——相似度高于某个阈值的文档对大概率被同一桶捕捉,低于的大概率被放过。候选对再用签名精算一次 Jaccard 确认,排除巧合撞桶。这样全库只需在桶内做小规模比对,整体复杂度从平方级掉到近似线性,增量场景下新文档只需与所在桶的成员比对即可。同族的另一条路线是 SimHash——把文档压成固定长度指纹、用指纹的海明距离判重,搜索引擎网页去重的经典出身,思路一致、实现不同,这里不展开。

flowchart TD
    A["全量语料:体积十成"] -->|"文本哈希一致即合并"| B["精确去重后:约九成"]
    B -->|"签名分桶出候选对"| C["近重复合并后:约七成"]
    C -->|"只标注不删除"| D["语义冗余层:同源标记"]
    D --> E["入库语料:瘦身且可审计"]

图中体积数字是示意——不同企业的语料分布差异很大,邮件密集型组织的近重复率通常远高于制度文档库,漏斗的收窄比例要用自家数据实测。

实践里还有两个参数要按业务定。一是片段长度 k:切得太短,普通词的组合到处出现,短文档的相似度会被系统性抬高;切得太长,改几个词就掉出相似区间,漏检上升。中文语料通常要在词级片段上多试几档,用标注样本选出兼顾查全与查准的位置。二是阈值本身:它不是数学常数而是业务开关——阈值放低,转发与改版抓得全,但「同一模板写出的不同文档」可能被误伤;阈值抬高,误伤少了又漏掉轻度改写。建议的做法是阈值设在漏斗的保守位置,把边界案例导出到人工审核队列,而不是让阈值独自决定合并。

一句话小结:MinHash 把「集合相似」压成「签名相似」,LSH 把「全库两两比对」变成「桶内比对」,两者合力让近重复检测从平方级降到工程可负担;参数是业务开关,边界案例交给人。

处置决策:保留哪一份,其余怎么办

检测出重复组之后,第一问是保留哪一份。组内选 canonical(代表文档)的优先级建议是:来源权威性优先于时间新近度,时间新近度优先于内容完整性。官方知识库里的版本通常有人持续维护,邮件附件「更新」却可能是改坏的版本——「最新」不等于「最对」。业务明确指定的例外走人工标注,不要让算法替业务拍板。

第二问是其余副本怎么处置,有一个谱系。物理删除最省存储,但丢掉了审计线索:转发链、出处、谁在什么时间发过什么版本,在合规与溯源场景里这些恰恰是将来要查的东西。更稳的默认选择是降权保留加 canonical 指针:副本不进检索主排序,或只保留一条指向 canonical 的轻量记录,详情页与引用统一规范到 canonical 地址,点击与统计也合并计数——链接不腐烂,历史可追溯。第三种是检索层去重:入库全保留,检索结果组内只出一条。实现最简单,但索引与嵌入成本一点没省,只解决了呈现层的问题。

第三问是语义冗余层敢不敢动手。建议克制:转述往往带着不同角度、不同受众、不同详略,自动合并有把互补内容当冗余误杀的风险。默认动作是标注同源而不是删除——把同事件、同主题的文档编成同源组,检索时组内去重呈现。字面近重复可以合并,语义冗余只宜标注,这条边界要守住。

形态 检测手段 处置策略
完全一致 正文文本哈希 合并,留 canonical
近重复 MinHash 加 LSH 候选对 留权威或最新版,余者降权
格式转换副本 抽文本后再哈希 按源格式保留一份
语义冗余 嵌入聚簇同源标注 标注不删,呈现时去重

canonical 也不是终身制。权威库的文档被下线、更权威的来源后来居上,代表文档就要换届。换届要有记录:旧 canonical 转为副本并指向新 canonical,切换时间与原因留痕,这样「为什么引用地址变了」永远有答案。没有换届机制的 canonical 体系,会在第一次文档下线时开始积累断链。

一句话小结:处置的原则是「canonical 指针代替删除、权威优先于最新、语义冗余只标注」——去重的每一步都要可审计、可回滚,代表文档也要能有序换届。

一次性工程与持续纪律

去重的组织方式有两种姿势,缺一不可。第一种是入库前关卡:每篇新文档先算签名、查 LSH 桶,与桶内既有文档比对,命中即进重复组流程。增量去重的成本只与桶大小相关、与全库规模无关,这是把去重从「季度大清洗项目」变成「日常纪律」的关键——重复文档在进索引之前就被拦下,嵌入与存储的钱根本不用花。

第二种是周期性全量重跑,它有明确的触发条件:检测算法或阈值调整了;新接入一大批历史存量语料;线上发现漏网的重复(例如用户反馈两篇内容几乎一样)。全量重跑要设计成对线上无感——先跑出结果标注,确认后在低峰期一次性生效,而不是边跑边改线上状态。

与检索层去重的分工也要说清楚:入库去重管语料瘦身与 canonical 治理,检索层去重管单次查询的呈现多样性。两层各管一段、互为兜底——入库层漏掉的,检索层还有一次组内去重的机会;检索层压力太大的,说明入库层该回头补课。

最后给一个值得盯的运营指标:语料重复率,即近重复文档数占全量的比例。它应当随时间缓慢下降或持平;新数据源接入后出现脉冲是正常的,脉冲后不回落就说明该源的入库关卡没起作用。指标有了趋势,去重才从一次性工程变成可运营的纪律。

一句话小结:入库前增量查桶挡住新重复,周期性全量重跑清历史欠账,重复率指标让这两件事都看得见。

小结

语料去重是一条三层漏斗:文本哈希拦住完全一致,MinHash 加 LSH 拦住近重复,嵌入聚簇给语义冗余标注同源;漏斗收窄的不只是体积——副本占据 top-k 的多样性塌缩、以及「复读机内容获得话语权」的答案偏置,都是纯质量层面的收益。处置上用 canonical 指针代替物理删除,权威性优先于新近度,语义冗余只标注不合并。机制上入库前增量查桶、周期性全量重跑、重复率进运营看板。重复语料不只是浪费预算,它会在无声处扭曲答案——这是把它当质量工程对待的理由。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?