把线上检索日志按文档聚合,大多数知识库都会画出同一条偏斜曲线:一小部分文档承载了大部分查询流量,而索引的内存账单按全量语料等比支付。为长尾里极少被查询的文档维持与热文档相同的检索性能,是把预算花在无人使用的地方。索引分层把「全量顶配」换成「按温度分配资源」:热的快、冷的省、层间可迁移。本篇讲热度怎么画像、分层怎么落地、迁移怎么不翻车。

热度画像:分层依据不是单一维度
第一维度是访问频率:滚动窗口内的查询命中次数。统计粒度要落在文档级——某个分块被命中要归并到所属文档,温度标签由文档下发到分块;否则同一篇文档的块散在不同层,合并排序凭空复杂。窗口取多长是第一个调参点:太短会被一次热点事件牵着走,太长对产品迭代带来的流量迁移反应迟钝,月级窗口是常见的起点。
统计本身还要先洗数据:爬虫流量、评测跑批、内部联调请求都不代表真实用户需求,混进热度统计会把爬虫常抓的入口页捧成「热文档」,把真实用户查询的低频好内容误判成冷。热度统计的口径要在埋点层就把机器流量剥掉,这与站点访问统计去 bot 的思路同源——用未经清洗的日志做分层决策,温度标签从第一天就是歪的。
第二维度是业务重要性。有些文档天然低频但不容降级:合同模板、合规清单、值班手册,一年被查不了几次,可一旦被查询就是在处理事故或纠纷,要求毫秒级响应与绝对可靠。访问频率是自动统计,业务重要性必须人工标注,两者取并集决定热层名单——自动统计管不准「重要但低频」,人工标注管不过来全量语料,互相补位才完整。
第三维度是时效与入口。对话式入口要求 p99 稳定,离线批量入口——夜间报告、评测跑批——可以容忍秒级。同一份语料在不同入口的「温度」不同,严格说温度是工作负载的属性,不是文档的固有属性。分层设计前先想清楚为哪个入口保 p99,别为一个容忍秒级的批处理任务在内存里供着整库热度。
偏斜之外还有两个动态事实。新入库文档没有统计,默认进热层观察,攒够窗口再定层;热点事件——产品事故、监管新闻——会让冷文档瞬间变热。分层系统必须支持快速晋升路径,而不是等下一轮周期性再平衡,否则最需要性能的时刻恰好在冷层里排队。
三个维度最终要落成一张温度表:文档 id、当前层、进入当前层的时间、窗口命中数、人工标记位。标签的下发时机要在写入路径上想清楚——文档增删改时同步更新温度表,还是由周期任务批量刷新,两者的一致性窗口不同;温度表是分层系统的唯一事实源,路由、迁移、监控读的都是它,这张表自身的备份与审计比三层索引的任何一层都更要紧。分层粒度也要在此定下:按文档分是最细的粒度,管理成本高;按栏目或知识域分粒度粗但稳定,适合分层的第一期。常见路径是栏目级起步、验证收益后再细化到文档级,一步到文档级的方案往往死在温度表的管理复杂度上。
分层实现:物理形态、路由与统一精排
三层是常见起点。热层:全内存高精度图索引,不压缩或轻压缩,为最高频与业务关键文档保住延迟与召回。温层:驻内存但换成量化压缩——标量量化或乘积量化——内存降到几分之一,召回略损,靠超额取回补偿:量化后的分数噪声会让真实近邻偶尔掉出 top-k,取回倍数放宽一档再加 rerank 收口,质量缺口就补上了。冷层:磁盘索引(DiskANN 类方案,机制本系列第 15 篇已拆解)或对象存储按需加载加本地缓存,服务长尾历史档案。三层介质与精度的梯度,本质是把最贵的内存资源摊到只对热流量生效。
冷层的体验由缓存决定。按需加载意味着同一份冷文档反复被查询时不能反复走磁盘——本地缓存要有命中率管理与容量上限,命中率的健康水位要监控;缓存全 miss 时延迟会劣化一个量级,这个量级必须被延迟预算显式容纳,而不是等用户投诉才发现。冷层内部也有方案之分:磁盘索引适合「冷但仍有稳定查询流」的长尾——它保住了毫秒到几十毫秒级的响应;纯按需加载适合「几乎无人查询、偶尔审计」的档案——成本最低,接受秒级。两条路的分界就是冷层自身的查询频率分布,冷层内部同样存在偏斜,同样可以再分。
路由有两种形态。过滤驱动:查询显式带时间范围等条件时直接定向对应层,「查近一个月」只碰热层,干净利落。回退驱动:默认只查热层,命中不足——返回条数或分数水平不达标——再逐层下探。两种形态并不互斥,多数系统是「能定向就定向,不能定向就走回退」的混合形态。回退会放大尾延迟,所以热层覆盖的查询占比本身就是分层有效性的核心指标:覆盖不够,回退成了常态,分层白做。
统一精排是分层的质量底线:各层返回的候选在同一 rerank 层合并排序,保证答案质量不因层级而异,代价只是延迟。没有统一精排的分层是两套质量标准——用户会「感觉」出冷门问题的答案变差,却不知道原因在架构。落地时还有一处容易漏的接缝:各层返回的分数不可直接比——热层是全精度分数,温层是量化后的近似分数,冷层走磁盘索引又有自己的分数口径,直接混排会把量化噪声当成相关性强弱。统一精排层要意识到分数来源不同,要么在精排前统一重打分,要么把来源作为特征交给 rerank 模型,不能假装它们在同一把尺子上。
flowchart TD
Q["查询进入"] --> R{"路由判定:过滤定向或默认热层"}
R -->|"默认"| H["热层:全内存高精度图索引"]
R -->|"带历史范围或热层命中不足"| W["温层:内存量化压缩索引"]
W -->|"仍未满足"| C["冷层:磁盘索引或按需加载"]
H --> M["统一 rerank 与合并"]
W --> M
C --> M
M --> A["返回并记录各层命中轨迹"]
def tiered_search(query, filters):
tiers = resolve_tiers(filters) # 按条件定向,或默认热层起跳
candidates = []
for tier in tiers:
hits = tier.index.search(query, k=tier.overfetch_k)
candidates.extend(hits)
if enough(hits) and score_ok(hits):
break # 命中足够则不再下探
ranked = rerank(query, candidates)
log_tier_trace(tiers, candidates) # 各层命中轨迹进监控
return ranked
层间迁移:迟滞、重建成本与降级兜底
再平衡的核心是迟滞:晋升阈值要明显高于降级阈值,且文档在层内要停留最短时间才可迁移。没有迟滞,临界文档会在层间来回抖动,每一次抖动都是一次索引删除加重建,比不迁移更贵。迁移本身要算清重建成本:跨层意味着从源索引删除、向目标索引插入,原始嵌入向量应当持久化复用——重插不重算嵌入——但图索引的插入仍会扰动局部结构,批量迁移要限速错峰,压在低峰时段慢慢滚。
自动再平衡之外要留手动晋升开关。热点事件爆发时,值班同学确认后直接把指定文档或栏目拉进热层,不等窗口统计追认——事件流量的窗口期往往比月级统计的反应周期短得多,等统计确认热度时事件已经过去。手动操作要留痕:谁在什么时间晋升了什么、依据是什么,事后能回溯,这是自动化系统的通用人机接口纪律。迁移的执行顺序也要固定成「先建后删」:目标层索引就绪并抽样验证可检索之后,才从源层摘除,中间允许短暂双存在——统一精排会去重,短暂双存的代价可忽略;反过来先删后建,迁移窗口内这份文档就从系统里消失了,对业务关键文档是不可接受的空窗。
降级兜底是分层的诚实体面。冷层慢或暂时不可用时,答案要显式声明「已检索近期内容,更早的历史内容检索较慢或未完成」,绝不静默装作查过全库。冷层文档的元数据——标题、时间、权限——建议常驻内存可查:即使正文检索慢,用户至少知道「存在这条记录」,可以走人工入口。藏起长尾是最差的兜底:用户不知道自己没被满足,比知道「这条要等」糟糕得多。声明本身也有讲究:要说清范围与影响——「历史部分」是哪一段、还剩多久能查完,含糊的「可能不完整」只会引发重复追问。
| 层 | 介质与形态 | 延迟 | 成本 | 典型内容 |
|---|---|---|---|---|
| 热层 | 全内存高精度图索引 | 最低 | 最高 | 高频与业务关键文档 |
| 温层 | 内存量化压缩索引 | 低 | 中 | 近期低频语料 |
| 冷层 | 磁盘索引或按需加载 | 高 | 低 | 长尾历史档案 |
验收:p99 与成本两条曲线一起看
只看 p99 会得出「分层不如全量顶配」的结论——全量顶配的延迟当然更好,问题是为它付多少内存账单;只看成本会牺牲业务关键文档的响应,省下的钱变成线上事故。验收口径必须是两条曲线并排:延迟侧看全量 p50 与 p99(按入口分开看),成本侧看内存用量与单位内存成本支撑的查询量。分层的成功形态很具体:p99 与分层前持平或略降,内存账单显著下降;或 p99 在可接受范围内略升,换来的是容量上了一个台阶——两种都算赢,唯独「延迟涨了、成本没降」是失败。
日常运营要看四个数字:热层查询覆盖率(回退是否成了常态)、冷层查询占比与冷层延迟分位(长尾体验的下限)、晋升降级速率(迁移是否在抖动)。热层覆盖率下降要当警告信号处理——它通常意味着语料增长快于热度迁移,热层名单在慢慢失真;持续恶化下去,回退路径的延迟压力会把分层省下的钱重新花在扩容 rerank 与兜底链路上。分层不是一锤子工程,它把「全量顶配」的一次性预算决策,换成了每月都可复审的持续决策——这笔账要进例行运营,而不是上线时看一眼就归档。
热度画像要定期重跑,分层的账要按月对。偏斜是前提,漂移是常态:产品改版、组织调整、一轮运营活动,都会改写访问分布。一次配置终身受益的分层不存在,存在的只有跟着流量演进的分层——这不是运维负担,恰恰是分层与「全量顶配」的本质区别:它有旋钮,所以能跟着预算与流量持续调。
小结
索引分层的完整设计:热度画像用访问频率、业务重要性、时效入口三个维度,统计要洗掉机器流量,自动统计与人工标注互相补位;落地用热温冷三层的介质与精度梯度,路由靠过滤定向与命中回退双形态,质量靠统一精排兜底;迁移用迟滞区间防抖动、手动开关接热点,降级用显式声明防「假装查过全库」。长尾语料占体积,热语料占流量——分层不是省钱的权宜之计,是检索系统规模化路上的必经形态。
读者留言
COMMENTS 暂无还没有留言,来说第一句?