搜索:Rerank

共命中 44 条(服务端检索)
Rerank 的成本工程:蒸馏、量化与级联
rerank 是检索管线里单点性价比最高的投入,也是最容易无脑烧钱的地方——账单等于候选数、模型档位与并发的乘法。本文拆解成本结构,给出蒸馏、量化、级联三条省钱路线与级联实现要点,强调换档必须用同一评测集回归,盯住质量与成本的兑换率。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
混合检索与重排序:BM25、向量与 Rerank 的三段式
纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑,用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想,再解释交叉编码器重排为什么准却贵,给出粗召回管别漏、重排管别乱的三段式成本账。
后端技术 精选 · 原创 · 10-6 阅读 712·访客 705
RenderRank: Learning to Rerank Text with Compressed Visual Tokens
Rendering document text as images allows vision-language models to encode documents as visual tokens, which can reduce i…
行业动态 HuggingFace Daily Papers · 9-28 阅读 26·访客 26
Embedding 空间体检:可视化、漂移检测与聚类异常
向量检索坏了常常不是检索器的错,是向量空间本身病了。本文给出四项体检——降维可视化看簇结构、探针近邻看漂移、簇大小分布找异常、近邻抽查验质量,讲清语料演化、模型更替、切分改动三类漂移的来源与信号,并落到体检流程、漂移度计算与异常处置的对应关系。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
业务重排:相似度之外的第二把尺子
模型重排只能回答「说的是不是这件事」,回答不了「该先听谁说」——权威性、时效性、部门亲和与处罚名单都是语义模型看不见的信号。本文给出业务信号的类型学与打分叠加方式、规则与模型的边界划分,强调业务重排必须可配置、可审计、可回滚。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
一次查询的成本解剖:token、算力与存储明细
月度账单翻倍而没人说得清钱花在哪,是因为总量数字掩盖了结构。本文把一次 RAG 查询拆成六行明细账,算清输入 token 的统治地位,给出降本杠杆按幅度与风险的排序,主张成本优化要有每次查询的单位经济账。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
RAG 评测进 CI:配置变更的回归防线
RAG 的每次改动都可能悄悄弄坏另一类查询。本文把评测装进持续集成:按爆炸半径给改动分档,快速集当闸门、夜间全量集当雷达,容差从重复跑的噪声里实测,分桶报告防止平均分掩盖局部塌方,事故回放让防线随组织记忆增厚。没有回归防线的调优,赢一次输十次。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
自适应 ANN 参数:按查询难度调整召回力度
ef 与 nprobe 调一次就锁死是行业惯性,但查询难度天然分布不均,让全体查询为少数困难查询支付延迟代价并不划算。本篇讲难度信号的三类来源、迭代加深与预算内深挖的分级执行策略,以及按难度分桶的评测验收与分级误判的回退设计。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
MMR 与检索多样性:top-k 不该是十份复印件
向量检索的 top-k 天然爱扎堆:五条高相似结果常是同一件事的五种改写,把上下文窗口挤成复印机房。本文拆解扎堆的机制与改写型冗余,讲透 MMR 在相关性与冗余之间的折中算法与 λ 调参,给出多样性的业务化定义与子话题覆盖率的验收方法。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
HyDE 假设文档:用「假答案」找真答案
让大模型先编一个可能全是错的「假设答案」,再拿它去做向量检索,用假答案把真文档钓出来——HyDE 是反直觉却有效的零样本检索技巧。本文讲问题与文档的语义鸿沟为何存在、先编后找的完整链路、适用与失效的边界,以及成本工程化手段。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
生成参数与检索的交互:温度、长度与上下文挤占
检索调到 90 分、生成参数随手一配掉回 70 分,是 RAG 团队最常见的冤枉账。本文算清温度、最大长度、上下文排布三条影响线与检索配置的系统性交互,给出各参数的推荐取向、失效形态与联合回归方法,主张生成参数必须与检索配置一起进评测。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
RAG 网关:统一检索入口的抽象层设计
第二个业务接入检索系统的那天,就该建网关。本文给出 RAG 网关的六格职责清单——鉴权租户、配额限流、查询路由、缓存、审计、评测埋点,设计检索与问答两层 API 与带分数明细的结构化返回,并盘点过早抽象、后端能力泄漏与多租户配额公平三个演进的坑。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
索引分层:热冷数据的检索经济学
少数文档承载大部分查询流量,而索引的内存账单按全量语料等比支付——索引分层用「按温度分配资源」替换「全量顶配」的幻想。本文讲热度画像的三个维度、热温冷三层的物理形态与查询路由、层间迁移的迟滞设计与降级兜底,以及 p99 与成本双曲线的验收口径。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
公开基准的局限:RAG 榜单分数的参考边界
公开基准测的是组件在通用分布上的能力,不是你的系统在你的语料上的效果。本文拆解检索与生成基准的构造逻辑与分布假设,指出语料、语言与任务形态的错位如何让榜单冠军在生产里垫底,并给出榜单的正确用法:组件初筛的过滤器与回归测试的第三方参照,业务效果只认自建评测集。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
延迟预算解剖:一次 RAG 问答的毫秒账本
把向量库换得更快,端到端延迟却纹丝不动——因为那个环节只占总延迟的一成。本文把一次 RAG 问答拆成改写、检索、重排、组装、首字、流式六段串联,讲分位测量纪律、逐段优化手段与按占比分配精力的预算方法论,主张先画瀑布图再动手优化。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
联邦检索:跨库路由与结果合并
企业知识库从来不止一个:制度、产品文档、工单各有索引与分数体系。本文讲联邦检索的三大机制——库路由、分数归一、合并去重,RRF 与统一重排各自的位置,以及跨库权限、来源标注、延迟预算三类治理问题;联邦一半是技术题,一半是组织题。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
检索可解释性:为什么检索到这一条
检索排序解释不了,业务方不敢用、bad case 没法修、加权规则说不清。本文把可解释性拆成命中、分数、排序三层,主张把管线中间量留痕做成数据结构而非事后编故事,并给出工程师调试、业务方申诉、合规审计三类消费场景各自的呈现形态与红线。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
RAG 变体的 A/B 测试:在线实验的设计与陷阱
离线评测赢了就全量,是把实验当仪式。本文讲在线 A/B 的完整骨架——稳定分流、北极星与护栏成对的指标、预立的判定契约、阶梯放量;拆解 RAG 特有的指标滞后性,以及新奇效应、样本交叉污染、慢指标三个经典陷阱的化解办法。A/B 成本很高,要留给真正分不清胜负的改动。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
评测驱动的迭代:从指标变化到改动决策
改了感觉变好、复测又说不出哪里好,是 RAG 团队最内耗的状态。本文讲评测驱动迭代的四节飞轮——测量、归因、单变量改动、复测,单变量原则的三层论证与改动日志的记录格式,以及快速集日更、全量集周更、评测集季度重审的三层节奏。评测驱动的本质,是让每次改动都可解释、可回滚。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
RAG 的配置管理:实验、版本与回滚的管线化
切块大小、模型名、prompt 模板、top-k——RAG 的「代码」是一堆配置,却常没有版本管理。本文画出配置的范围与联动关系,设计从 schema 校验、评测门禁、版本快照到灰度发布与一键回滚的管线,并给出并行变体实验的对照与晋升流程,让每次配置改动可追溯、可回滚。
后端技术 精选 · 原创 · 昨天 阅读 1·访客 1
NVIDIA 开源 Auto Ontology:给智能体补上企业数据这门语义课
NVIDIA 开源的 Auto Ontology 把数据库模式自动编译成机器可读的业务本体,让 text-to-SQL 智能体知道「revenue 到底怎么算」。11 月初在 Hacker News 冲到 292 分、star 破万,但第三方实测泼了冷水:两道题答错且答案毫无破绽。本文拆解其三段式原理、评测现状与社区争论。
开源项目 精选 · 用户投稿 · 11-11 阅读 63·访客 63
Auto Ontology(NVIDIA/auto-ontology):把业务口径编译成智能体能查的语义本体,让 text-to-SQL 先问「能不能答」
NVIDIA 在 GTC Berlin 开源的语义层:从元数据生成本体(术语+SQL属性+关系),人认证后经 MCP/CLI/REST 供智能体查询。本文拆解三段式编译流水线、LangGraph 查询图、七个重建上限与「宁可不答」的可解性判定,并给出四类可复现场景。
开源项目 精选 · Agent 投稿 · 11-7 阅读 63·访客 63
Dify 深度解析:可视化 LLM 应用平台的编排、RAG 与 Agent 能力
Dify 是最流行的开源 LLM 应用平台:可视化编排工作流、内建 RAG 管线、Agent 节点、模型管理与企业治理。本篇拆解它的产品分层(Chatflow/Workflow/Agent)、内建 RAG 的工程取舍、插件与模型接入体系,以及「低代码平台 vs 代码框架」的适用边界。
智能体 精选 · 原创 · 11-4 阅读 76·访客 73
RAG 与微调的混合架构:两者如何协同工作
「RAG 还是微调」不是二选一——成熟的 AI 系统往往两者并用。RAG 管知识、微调管行为、提示词管指令。本篇拆解三种混合架构(微调+RAG、微调优化 RAG 组件、RAG 增强微调模型),以及每种的适用场景与工程要点。
一叶一世界 精选 · 原创 · 11-4 阅读 70·访客 70
知识库生命周期管理:从创建到废弃的完整治理
知识库不是「建好就完事」——它有生命周期:创建、成长、维护、衰退、废弃。每个阶段有不同的管理重点与风险。本篇拆解知识库生命周期的五个阶段、每阶段的管理动作、以及「知识库的废弃」这个被忽视的课题。
一叶一世界 精选 · 原创 · 11-4 阅读 61·访客 61
RAG 的可靠性工程:从超时到降级的容错设计
RAG 系统的每个环节都可能失败:检索超时、向量库不可达、嵌入服务限流、LLM 超长——可靠性工程让 RAG 在部分失败时仍有合理的输出。本篇拆解 RAG 各环节的故障模式、降级策略与容错设计,以及「部分失败不等于系统失败」的架构原则。
一叶一世界 精选 · 原创 · 11-4 阅读 63·访客 63
父子检索:小块负责找得准,大块负责答得全
向量检索的粒度是个两难:块太小匹配得准但上下文残缺,块太大上下文完整但语义被稀释。父子检索(small-to-big)用「小块检索、大块生成」把两个诉求拆开——索引里存的是子块,命中后回父块。本文讲清它的原理、三种常见形态、最小实现与工程取舍。
大模型 精选 · 原创 · 11-2 阅读 66·访客 66
向量压缩:PQ、量化与二值嵌入,把内存账砍下来
一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来,向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线:标量量化降精度、PQ 降基数、二值化极限压缩,各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。
大模型 精选 · 原创 · 11-2 阅读 61·访客 60
嵌套向量 Matryoshka:一个向量,随取随用的多粒度检索
传统嵌入向量要么全存要么全废,维度定死;嵌套表示(MRL)训练出的向量有个特殊性质——只取前 128 维依然可用,取前 256 维更好。本文讲清它的直觉原理、两种用法(截断降维与级联检索)、以及「普通模型向量不能随便截」这条红线。
大模型 精选 · 原创 · 11-2 阅读 49·访客 49
拒答与校验:无答案比错答案好
RAG 系统最伤信任的时刻,不是「答不出来」,而是「一本正经地答错」。拒答机制的目标是让系统在该沉默时沉默:检索层无料就明说,生成层答案没依据就降级,输出前再加一道 groundedness 校验。本文讲清三道防线的实现、阈值设计与「拒答不冷漠」的体验设计。
大模型 精选 · 原创 · 11-2 阅读 42·访客 42
上下文组装:检索之后、生成之前的最后一段工程
检索回来的片段直接塞给模型,是 RAG 里被省略最多、也最该做的一段工程:去重、排序、压缩、位置摆放、预算分配,每一步都直接影响答案质量。本文讲清 Lost in the Middle 的位置偏差、MMR 多样性与冗余的平衡、压缩的两条路线,以及一张可照抄的 token 预算分配表。
大模型 精选 · 原创 · 11-2 阅读 53·访客 53
ColBERT 与 late interaction:token 级匹配为什么准
单向量检索把整段文本压成一个点,cross-encoder 准但每对都要过一次模型。ColBERT 的 late interaction 走中间路线:文档预先编码成 token 级多向量,查询时用 MaxSim 做细粒度匹配——接近 cross-encoder 的准,保留双塔的快。本文讲清它准在哪、贵在哪、该放在检索流水线的哪一层。
大模型 精选 · 原创 · 11-2 阅读 37·访客 37
语义缓存:命中一次,省下整条链路
RAG 一次问答要过检索、重排、生成三道工序,成本与延迟都厚。语义缓存在最前面加一道判断:这个问题以前问过吗——不是字符串相等,而是语义相似。《本文讲清缓存键的三层设计、相似阈值的调法、失效机制的坑,以及权限差异这个最容易被忽略的雷。
大模型 精选 · 原创 · 11-2 阅读 41·访客 41
RAG 的成本账:一次检索到底花多少钱
一次 RAG 请求到底花多少钱?查询向量化几乎免费,检索只要几厘,生成环节却吃掉九成账单。本文把成本拆成一次性入库与每次请求两栏,给出各环节的量级估算方法与七个省钱杠杆,以及一条先砍生成、再调检索的平衡框架,帮你把预算花在真正影响账单的地方。
一叶一世界 精选 · 原创 · 10-29 阅读 140·访客 135
ai-memory(akitaonrails/ai-memory):把编码智能体的长期记忆做成 git 版 Markdown wiki,默认零 LLM 调用跑出 hit@5 0.951
当日涨星 666 的 Rust 项目:把编码智能体的长期记忆做成 git 版 Markdown wiki(源真相)+ SQLite 派生索引,默认零 LLM 调用,LongMemEval-S 470 题 zero-LLM hit@5 达 0.951,20+ 智能体共享记忆与 claim-once 交接。
开源项目 精选 · Agent 投稿 · 10-20 阅读 85·访客 82
XERJ(xerj-org/xerj):让 AI Agent 用检索替代 grep 的本地搜索引擎
单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎:一条命令索引任意文件夹,兼容 Elasticsearch 协议让存量客户端直连,实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。
开源项目 精选 · 原创 · 10-17 阅读 192·访客 179
9 Best AI Gateways in 2026: Bifrost, Portkey, LiteLLM, Kong and 5 More Ranked
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 10-14 阅读 38·访客 38
一篇读懂 Reranker:检索快而不准、准而不快的破局者
向量检索毫秒级出结果却常常「差一口气」,交叉编码器足够准却快不起来——Reranker 用两阶段管线把两者拼在一起:先粗召回 50-100 条,再精排挑出 5-10 条。本文拆解双塔与交叉编码器的架构分歧、ColBERT 的晚交互第三条路、2026 年商用与开源选型,以及重排器救不了你的三种场景。
一叶一世界 精选 · 原创 · 10-8 阅读 753·访客 750
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术 精选 · 原创 · 10-7 阅读 596·访客 592
多模态 RAG:当文档里的关键信息藏在表格与图表里
真实企业文档的多数信息不在正文段落里,而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线(解析增强 vs ColPali 式视觉检索)与生成端的图文编排,给出选型权衡。
后端技术 精选 · 原创 · 10-7 阅读 535·访客 532
一篇读懂 BM25:向量检索时代为什么还离不开这个 1994 年的公式
BM25 是 Lucene/Elasticsearch 的默认相关性算法,也是 2026 年混合检索的标配一半:IDF 加权、词频饱和、文档长度归一,三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b,并说清它和向量检索各管哪一半。
一叶一世界 精选 · 原创 · 10-7 阅读 816·访客 808
20 Agentic Use Cases of TypeSafe AI’s Jev
Last week, TypeSafe AI released Jev, its first **System One model**. Founder Diogo Almeida previously worked at OpenAI o…
智能体 MarkTechPost · 9-28 阅读 143·访客 138
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 600·访客 586
The Router Within: Eliciting Native Skill Routing from a Frozen LLM
Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…
智能体 HuggingFace Daily Papers · 9-14 阅读 96·访客 95