AI 资讯 知识库 RAG 实战手册时间感知检索:时效意图识别与新鲜度衰减

时间感知检索:时效意图识别与新鲜度衰减

「现在的年假是几天」和「2019 年版的年假制度写了什么」,问的是同一个制度库,要的却是完全相反的排序:前者该把现行版本顶到最前,后者恰恰不许现行版本来抢位。多数检索系统对这两种问题给出同样的答案,因为时间只被当成一个元数据字段存在,从不参与排序决策。时间感知检索把时间升为一等信号:查询侧识别「用户要什么时间的答案」,排序侧按语料领域施加合适的新鲜度权重。它与入库后的语料新鲜度治理(发现过期文档、下线降权,那是运营侧的账)分工明确——这篇讲的是查询与排序两侧的机制设计。

手绘信息图:查询侧时效意图识别与索引侧新鲜度衰减排序的两层机制

时效意图的类型学:三类意图与识别信号

时效意图收敛成三类,识别特征各不相同。第一类要求最新:显式信号是「最新」「现在」「今年」这类时间词;隐式信号藏在内容类型里——价格、汇率、负责人、联系方式、政策口径这类事实天然时效敏感,哪怕用户一个时间词都没提。第二类限定时间窗:用户要的是某个区间的版本,「2023 年之前的规则」「上个季度的数据」,显式时间词加区间结构是识别要点;这类意图在法务取证、财务追溯、事故复盘里出现频率最高。第三类历史无关:概念解释、数学原理、语言用法、稳定的技术机制,答案十年不变,任何时间加权对它都是噪音——「递归是什么意思」不需要知道今天是几号。

识别手段按成本递增排三档。词表匹配最便宜,维护一张时间词与领域词表,能抓住大部分显式意图;轻量分类器次之,用几百条标注查询训一个小模型,输出三类意图加置信度;用大模型在查询理解阶段顺带输出时间意图标签最准,也最贵,适合本来就有查询改写管线的系统(本库查询理解篇的管线里加一个字段即可)。比识别更重要的是默认策略:识别不出意图时按语料域先验兜底——政策问答默认给现行有效版本,百科问答默认不衰减。默认值该按域配置而不是全局一刀切,因为「错给最新的伤害」在政策域远大于在原理域。

三类意图放进具体查询里看得更清楚。要求最新:「汇率现在多少」「今年的团购补贴政策」「服务器负责人是谁」——前两个自带时间词,第三个要靠内容类型判断,负责人换了就得给新的。限定窗:「2022 年之前的供应商准入标准」「上个季度的销售前十」「事故当天下午的变更记录」——区间结构明显,答案必须精确落在窗内,窗外的内容再相关也是错。历史无关:「什么是幂等性」「TCP 握手为什么是三次」「Git rebase 与 merge 的区别」——十年不变,任何时间处理对它都是负资产。还有一类混合意图值得单独预警:「对比 2019 版和现在的差旅制度」——一个查询里同时有历史端与最新端,衰减策略对两端要反向处理,这是时间感知里最容易做错半边的场景,识别层要能把查询拆成两个各带时间约束的子意图再分别检索。

一句话小结:三类时效意图各有识别特征,识别手段按成本分三档,识别不出时按语料域配置默认策略,别让兜底行为全库统一。

衰减排序:把时间写进相关性分数

排序侧的核心是衰减函数:一条文档的相关性分数乘一个随时间流逝而下降的因子。最常用的是半衰期指数衰减,decay = 2^(−Δt / T),Δt 是当前时间与文档内容时间的间隔,T 是半衰期——每过一个 T,文档的时间权重掉一半。关键设计在 T 按领域分域:新闻类内容半衰期按天计,政策制度按月计,技术文档按年计,历史档案与原理类干脆不衰减。一个统一的全库半衰期必然顾此失彼:按新闻调的天级参数会把技术文档误杀干净,按技术文档调的年级参数又让新闻旧闻霸榜。每个域的半衰期取值不该拍脑袋,从评测集里「问最新的查询命中了多新的文档」反推。

from datetime import datetime, timezone

HALF_LIFE_DAYS = {"news": 3, "policy": 90, "tech_doc": 365, "principle": None}

def decay_factor(doc, now, domain):
    half_life = HALF_LIFE_DAYS[domain]
    if half_life is None:                      # 原理与历史档案不衰减
        return 1.0
    days = (now - doc.content_time).total_seconds() / 86400
    return 2.0 ** (-days / half_life)          # 半衰期指数衰减

def final_score(hits, now, domain, floor=0.3):
    for h in hits:
        d = max(decay_factor(h, now, domain), floor)   # 衰减因子设下限防误杀
        h.score = h.relevance * d                      # 乘法:衰减只折损相关分
    return sorted(hits, key=lambda h: h.score, reverse=True)

衰减与相关性怎么合并,有两个流派。RAG 的事实问答建议用乘法流派:衰减因子直接乘在相关性分数上,零相关的文档不管多新都是零分,绝不无中生有;工程上常给衰减因子设一个下限(比如 0.3,上面代码的 floor),防止半衰期配得过紧时把现行文档直接压出视野——折损但不没收。加法流派把新鲜度当独立项相加(LangChain 的时间加权检索器即此形态:语义相似度加一个随时间衰减的加成项,截至 2026-11 仍是其文档的公开行为),适合记忆与素材池一类的场景;缺点是新鲜项能凭空造分——一篇零相关的最新文档可能挤进结果。实现位置上,查询时对候选做后打分最灵活(意图可变),预过滤做时间窗(本库元数据过滤篇的机制)做第一道粗筛,两者配合而非互斥。

flowchart TD
    Q["用户查询"] --> I{"时效意图识别"}
    I -->|"要求最新"| A["选天级或月级半衰期域"]
    I -->|"限定时间窗"| B["解析区间做预过滤"]
    I -->|"历史无关"| C["关闭衰减"]
    I -->|"隐式或未知"| D["按栏目域先验取半衰期"]
    A --> R["候选集乘衰减因子重排"]
    B --> R
    C --> R
    D --> R
    R --> O["排序输出"]

半衰期的取值可以用日志反推。线上日志里有隐含标签:用户在要求最新的查询里最终点击(或采纳)的文档,其内容时间分布就是该域「用户期望的新鲜度」——点击文档的内容时间中位数在 7 天以内,半衰期就该配在天级而不是月级。给一个衰减曲线的量级感(纯算术示意):政策域半衰期 90 天,一份发布 30 天的制度衰减因子约为 0.79,发布 180 天约为 0.25,发布一年约为 0.05。同一个现行有效、发布半年的制度,相关性 0.9 时合成分仍能压过一条新发布的弱相关新闻——这正是「衰减只折损、不翻盘」的设计意图;但如果用户明确要最新,就应该由意图识别切到强时效域,而不是靠通用衰减硬扛。衰减参数随语料增速也会失配:语料更新变慢后,原配置的半衰期相对变紧,定期用日志复核比一次配置管用。

一句话小结:衰减排序的要点是半衰期按域配置、合并方式守住「衰减只折损相关分」的纪律,查询侧意图决定参数、索引侧因子决定顺序。

失效模式:误杀、错时间与时区陷阱

时间感知的翻车现场比它的收益更常被讨论,因为每种失效都直击用户信任。误杀稳定内容是头号事故:把技术原理、老而有效的操作手册按统一半衰期衰减,结果「怎么配 SSH」这类十年不变的答案被新发布的水文顶掉。解法是把不衰减作为一等配置(原理域、操作手册域显式豁免),并对「长期零点击但持续被命中的文档」保持敬畏。时间字段不可信是隐蔽事故:文件系统的修改时间、入库时间都容易被误导——转载文章的入库时间是今天,内容时间是三年前;批量迁移会把全库时间刷成同一天。排序必须用内容时间(发布或修订时间),缺失时走探测回退(正文里的日期、URL 里的日期)再退保守默认(视为中等新鲜,不奖不罚),并把缺时间字段的文档比例当作语料健康指标监控。

时区与相对时间是最后一组坑。存储一律 UTC,展示才转本地时区,否则跨国团队会在「今天发布的文档」上出现各自的理解;相对时间词「上周」「最近」必须在解析时锚定一个明确的参考日期(就是当前查询时间),否则缓存与批处理一掺和,语义就漂了。「2024 版」这类版本年份也要解析——它标识的是版本代际而非发布时刻,映射到版本管理机制(本库版本管理篇)比映射到时间衰减更对症。

意图 识别手段 排序策略
要求最新 时间词加内容类型先验 强时效域小半衰期
限定时间窗 区间解析 时间窗预过滤加窗内排序
历史无关 概念类判别 关闭衰减
隐式时效敏感 栏目域先验 按域默认半衰期
版本指代 年份加版本词 接版本管理机制

每个失效模式配一个事故样本,加深体感。误杀样本:某技术团队给全库统一 180 天半衰期,两周后「怎么配置 Nginx 反代」这类常青问题的命中率下降,排前面的是新发布的泛泛而谈的入门文——老手册被衰减掉了,补救是把操作手册域整域豁免,重放历史查询重排。错时间样本:某站点把入库时间当内容时间,一次批量迁移后全库「昨天发布」,问「最新通知」返回的全是三年前的老文——时间字段的语义必须在入库时定义清楚并校验。时区样本:跨国团队在「本周发布的周报」上产生分歧,根源是各区域用本地时间写入库字段,统一转 UTC 后分歧消失。重发样本:运营把两年前的爆款文章改个标题重新发布,修改时间变成今天,衰减层把它当新文顶到最前——对策是保留首发内容时间,修订只累积修订时间,两者分开存储。

一句话小结:误杀靠豁免域防、错时间靠内容时间与探测回退防、时区靠统一存储防——每种失效都有工程解,前提是你把它当成显式设计项。

验收与治理:两个方向都要回归

时间感知的验收口诀是「问最新给最新,问历史给历史」,两个方向都要有评测用例,因为它们的失败形态相反。评测集按意图分三桶:要求最新的桶量「命中文档的平均内容时间与现行版本命中率」;限定窗的桶量「区间边界是否守得住」(窗外的文档混进来就是失败);历史无关的桶量「衰减是否被误开」(这类查询加了时间处理就是 bug)。再设一组对抗用例:同一事实的新旧两版都在库里,问最新不许命中旧版,问历史不许命中新版——这组用例是时间感知的试金石,没有它,任何时间调参都无法自证有效。上线后持续监控两类漂移:衰减参数随语料增速失配(语料翻倍后,天级半衰期相对过紧或过松),以及意图识别的误报率(把历史无关的查询错标成要求最新,衰减就会误伤)。时间感知不是一次性开关,是随语料与业务演进持续校准的排序参数。

监控侧给三个可落地的观测点。意图分布漂移:要求最新的查询占比突然上升,通常是业务活动(促销、新政发布)引起,衰减参数可能需要临时收紧。命中率新鲜度:要求最新桶的命中文档内容时间中位数,按周统计画趋势线,连续上移说明衰减变松或语料更新链路变慢——这个指标把排序问题与语料运营问题分开归因。对抗用例的线上回放:把新旧两版的对抗用例接进日常巡检,每周用真实管线跑一遍,失败即告警——离线评测证明设计正确,线上回放证明参数没漂。时间感知的参数总量不大,但它横跨查询理解、排序、语料治理三个环节,任何一环改动都可能让它悄悄失配,巡检的意义就是把失配从用户投诉提前到周报告警。

一句话小结:验收要两个方向都有对抗用例,三个意图桶各设指标,上线后盯参数失配与意图误报两类漂移。

小结

时间感知检索把时间从元数据摆设升为一等排序信号,机制分两层:查询侧识别三类时效意图(要求最新、限定窗、历史无关),识别不出就按语料域先验兜底;排序侧用按域配置的半衰期做衰减,合并方式守住「衰减只折损相关分、不凭空造分」的纪律,时间窗靠预过滤粗筛。失效模式集中在误杀稳定内容、时间字段不可信与时区漂移,各对应豁免域、内容时间与 UTC 存储的工程解。验收的试金石是同一事实新旧两版的对抗用例:问最新给最新,问历史给历史,两个方向都不许翻车——时间感知做对了不显山露水,做错了用户一眼就能看出来。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?