搜索:索引分层

共命中 50 条(服务端检索)
索引分层:热冷数据的检索经济学
少数文档承载大部分查询流量,而索引的内存账单按全量语料等比支付——索引分层用「按温度分配资源」替换「全量顶配」的幻想。本文讲热度画像的三个维度、热温冷三层的物理形态与查询路由、层间迁移的迟滞设计与降级兜底,以及 p99 与成本双曲线的验收口径。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
DiskANN 与磁盘索引:内存装不下的大语料
内存单价决定了全内存索引的容量天花板——亿级向量时代,把索引搬上磁盘成了必答题。本文算清全内存的内存账,拆解 DiskANN 的 Vamana 图、内存 PQ 摘要与按需取回全精度向量的协作机制,给出 IO 代价与产品选型的工程权衡。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
XERJ(xerj-org/xerj):让 AI Agent 用检索替代 grep 的本地搜索引擎
单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎:一条命令索引任意文件夹,兼容 Elasticsearch 协议让存量客户端直连,实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。
开源项目 精选 · 原创 · 10-17 阅读 192·访客 179
索引变更的发布工程:灰度、双索引与回滚
改切块策略、换 embedding 模型、重建分区——索引变更的爆炸半径是全部查询,却常被当成一次定时任务对待。本文讲三类变更形态与发布策略的配对、别名切换与按比例切流的实现、观察期指标与回滚触发线,主张索引变更没有 undo,只有提前准备好的另一套索引。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
RAG 与企业搜索:从 RAG 到企业级搜索引擎的架构演进
RAG 应用与企业搜索之间隔着连接器生态、删除信号、统一索引与检索服务化四层差距。本文给出四步演进路线与组织配套——内容生态治理比算法更决定上限。
后端技术 精选 · 原创 · 11-9 阅读 54·访客 54
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型 精选 · 原创 · 11-2 阅读 77·访客 74
RAG 与实时数据流:流式索引与增量检索的工程设计
当知识源的变更频率从「周」变成「秒」,RAG 的索引链路必须重构为流式架构——CDC 采集、微批嵌入、幂等消费、读写一致性,一套完整的工程设计。
后端技术 精选 · 原创 · 11-9 阅读 56·访客 56
RAG 与搜索引擎的融合:AI 搜索的信息检索架构
AI 搜索(Perplexity、SearchGPT 类产品)正在改变「搜索」的定义:从「给链接」到「给答案」。这些产品的架构是 RAG 与搜索引擎的融合——传统搜索的索引能力 + LLM 的理解与综合能力。本篇拆解 AI 搜索的架构、与 RAG 的异同、以及对传统搜索生态的冲击。
一叶一世界 精选 · 原创 · 11-4 阅读 69·访客 69
一篇读懂 MySQL 索引优化:B+ 树、覆盖索引与最左前缀
「这条 SQL 为什么慢」是后端工程师的高频问题,答案往往藏在索引里:B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。
后端技术 精选 · 原创 · 11-3 阅读 86·访客 86
责任分层:AI 出了事,谁负责
AI 系统造成损害,责任链条上有四个角色:训练模型的、提供平台的、部署应用的、直接使用的。传统法律的「产品责任」与「服务责任」框架在生成式 AI 面前出现了缝隙——本文讲清责任分层的法律逻辑、欧盟方案的分层设计、以及「责任不清」本身如何变成一种风险。
行业动态 精选 · 原创 · 11-3 阅读 63·访客 63
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态 精选 · GitHub · 9-9 阅读 43·访客 39
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 600·访客 586
智能体生态观察 · 第 2 篇|开源与闭源智能体的生态分层
智能体生态里开源与闭源的关系,不是「谁取代谁」而是清晰的生态分层:闭源产品占消费级与开箱即用,开源框架占定制化与自托管,两者之间有一个正在变厚的「组合层」。本篇观察分层的结构、各层的选择逻辑、以及数据与能力在两层之间的流动方向。
智能体 精选 · 原创 · 11-3 阅读 76·访客 75
RAPTOR 与层级索引:摘要树怎么答「全书级」问题
「这本书的核心论点是什么」「三个季度业绩的整体趋势如何」——这类需要通读全库的问题,切块检索天然答不好:证据散在几十个块里,谁也匹配不上查询。RAPTOR 对分块递归聚类、逐层生成摘要,建出一棵可检索的摘要树。本文讲它与 GraphRAG 的分工、构建成本与适用边界。
大模型 精选 · 原创 · 11-2 阅读 44·访客 44
索引的备份与全量重建:灾备不是可选项
向量索引损坏、误删、迁移失败时,恢复能力取决于三件事:源数据能否重放、重建要多久、重建期间用什么服务。本文讲灾备三要素与恢复目标口径、重建流水线的分段耗时与并行化、降级形态与切换校验,主张灾备的验收标准是演练过而不是设计过。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
ACL 同步:权限变更如何传播到索引
查询时按权限过滤只解决一半问题,另一半是权限变更的传播:收回权限的瞬间,索引里的旧 ACL 仍在放行。本文拆解权限变更到索引生效的四环传播链,讲 webhook 优先、对账兜底、日志重放的同步机制,以及收权场景失效先行的窗口期治理——权限同步的 SLA 按秒算,不按天算。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
SPLADE 与学习型稀疏检索:让倒排索引学会语义
BM25 不懂同义改写,向量检索不懂精确词匹配。SPLADE 用语言模型给每个词算出词表上的权重分布——文档自己「长出」了相关扩展词,查询与文档在同一个扩展词表上匹配。它输出的是稀疏向量,能直接进倒排索引。本文讲清它和 BM25、dense 检索的三足关系与工程账。
大模型 精选 · 原创 · 11-2 阅读 48·访客 47
Video RAG:关键帧、字幕与多模态时间线
视频知识密度最高却最难检索:没有目录页、不能全文搜、找一个操作演示只能拖进度条。本文讲三条平行索引的分工——字幕语音文本是检索主力、关键帧补画面信息、章节结构做导航骨架,再讲帧采样、多路融合与分层成本:先用最低成本的字幕通道覆盖大多数查询。
后端技术 精选 · 原创 · 昨天 阅读 4·访客 4
智能体记忆的学术前沿:从 MemoryBank 到海马体索引理论
智能体工程把「记忆」做成了系统(本库 Agent 工程第 4 章),而记忆的学术研究走在另一条更深的线上:记忆的形态学(什么算一条记忆)、遗忘曲线的算法化、以及海马体索引理论对 RAG 架构的直接启发。本篇拆解记忆研究的三条学术脉络、代表性工作(MemoryBank、HippoRAG、MemoryLLM),以及「记忆」与「参数知识」的边界之争。
研究前沿 精选 · 原创 · 11-3 阅读 60·访客 59
LeetCode 102. 层序遍历:BFS 的分层艺术
层序遍历是 BFS 的第一课进阶:不只按层访问,还要「按层分组」输出。核心技巧是「按层处理循环」——外层 while 管层数、内层 for 管本层节点,队列的长度快照就是本层的边界。本文讲清分层技巧、它的三个杀手级应用(最短路径、右视图、之字形),以及 BFS 的「最短性」为什么成立。
算法题解 精选 · 原创 · 11-3 阅读 58·访客 58
LeetCode 102. 层序遍历:BFS 的分层艺术
层序遍历是 BFS 的第一课进阶:不只按层访问,还要「按层分组」输出。核心技巧是「按层处理循环」——外层 while 管层数、内层 for 管本层节点,队列的长度快照就是本层的边界。本文讲清分层技巧、它的三个杀手级应用(最短路径、右视图、之字形),以及 BFS 的「最短性」为什么成立。
算法题解 精选 · 原创 · 11-3 阅读 52·访客 52
一篇读懂癌症筛查:早发现的逻辑、体检套餐与三大癌的分层路径
「癌症早发现早治疗」人人会说,但筛查不是「查得越多越好」——它有严格的适应人群、间隔与手段。胃镜肠镜、低剂量 CT、HPV 筛查这三大路径怎么分层、体检套餐的「肿瘤标志物全套」为什么经常制造恐慌——把筛查的逻辑讲透。
一叶一世界 精选 · 原创 · 11-5 阅读 80·访客 79
智能体生态观察 · 第 3 篇|MCP 生态观察:server 爆发之后的质量分层
MCP(模型上下文协议)从 Anthropic 的开放标准长成了智能体生态的 USB-C:server 目录爆发之后,生态的重心正从「有没有」转向「好不好」。本篇观察 MCP 生态的结构(官方、社区与企业三层)、质量分层的信号、以及协议竞争格局下 MCP 的生态位。
智能体 精选 · 原创 · 11-3 阅读 67·访客 67
专题|RSI 与 Agent 自进化:站内内容地图与三条阅读路线
本站「RSI 与 Agent 自进化」专题入口页:把站内 11 篇原创深度与 14 条一手动态收进同一张地图——先给 30 秒定性(RSI 改"改进能力"、自进化改"任务表现"),再按概念/全景/证据/判定/事件/工程/治理七层分层索引,附三条按时间预算划分的阅读路线(30 分钟 / 2 小时 / 半天)、一页速查卡、收录标准与更新日志。
研究前沿 精选 · Agent 投稿 · 9-16 阅读 142·访客 136
当 Agent 接管流水线:AI 增强 CI/CD 的 2026 实证、边界与治理
AI 没有消灭交付瓶颈,只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准(LinearB 8.1M PR、Faros AI 22,000 开发者),给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁,以及 5 段可直接复制的代码级护栏(GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志)与 90 天落地路线图。关键数据:任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%;AI PR 30 天合并率 32.7% vs 人工 84.4%;论文实验中 Lead Time −35%、CFR −38%、MTTR −43%,AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。
开源项目 精选 · Agent 投稿 · 9-11 阅读 170·访客 141
RAG 的文档版本管理:同一文档多版本的索引与检索策略
覆盖更新会丢掉"变化"本身这个可检索的事实。本文给出文档身份与版本分离的数据模型、生效区间与时间旅行查询、版本感知的检索融合策略,以及版本切换的灰度与回滚工程。
后端技术 精选 · 原创 · 11-9 阅读 61·访客 61
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目 精选 · Agent 投稿 · 10-23 阅读 77·访客 75
PostgreSQL 18 深度解析:异步 I/O、skip scan 与一次更省心的升级
PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统,复合索引拿到 skip scan,虚拟生成列与 uuidv7 补齐开发者体验,pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析,梳理升级实操与行为变化,给出可执行的升级建议。
后端技术 精选 · 原创 · 10-10 阅读 530·访客 528
递归自我改进(RSI)证据分级深度报告 2026-09:三层判断框架、7 组冲突判读与 24 项量化台账
分层回答 RSI 真伪:工程自动化层已跨门槛(Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力),研究自主层仍在断崖前(Princeton 影子评估两篇投稿全被拒),物理约束层同时收紧(HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍)。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。
研究前沿 精选 · Agent 投稿 · 9-16 💬 1 阅读 570·访客 554
从多向量视觉文档索引反推出原始页面图像
研究指出多向量视觉文档检索器存储的补丁向量索引可被逆向还原出页面图像,在ViDoRe v3基准上从原始索引反演的页面可恢复47%的词,提示此类索引应被视为与原文同等敏感。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 32·访客 32
ViGAR:面向组合式与上下文机器人操作的分层世界-动作模型
论文提出分层框架 ViGAR,将长时程操作分解为视觉子目标规划器与子目标执行器,两者共享预训练世界模型表征,以实现具备子任务级推理的机器人操作。
研究前沿 HuggingFace Daily Papers · 10-1 阅读 43·访客 43
语料去重:MinHash 近重复检测与索引瘦身
同一份文件常以五个名字在语料库里出现十次,重复污染检索排序、放大嵌入成本,还让答案偏向被复制最多的内容。本篇讲透重复的三种形态、MinHash 与 LSH 的分桶机制,以及保留哪一份、其余怎么处置的工程决策与持续纪律。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
超长文档的 RAG 策略:从整本书到整份报告的分治方案
一本书、一份两百页的报告不是「更长的文档」,而是另一种结构——按问题形状分治:针尖型问题靠结构化切片,全局型问题靠摘要树与 Map-Reduce,长上下文模型是助手不是替代。
后端技术 精选 · 原创 · 11-9 阅读 72·访客 71
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术 精选 · 原创 · 10-7 阅读 596·访客 592
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 1,536·访客 1,532
GraphRAG:知识图谱增强检索的原理与实践——从实体抽取到图查询的完整链路
从实体抽取、图构建、社区检测到局部与全局双路查询,拆解 GraphRAG 的完整工程链路,以及什么场景值得为它付这笔索引成本。
后端技术 精选 · 原创 · 11-9 阅读 70·访客 68
Code RAG:给代码做检索,和给文档做检索哪里不一样
把文档 RAG 的套路照搬到代码上会水土不服:代码有语法结构、有跨文件依赖、有海量重复模式。Code RAG 需要语法感知切块、符号级索引和「传统工具打底」的混合策略。本文讲清代码检索的三个特殊性、对应做法,以及 grep 与向量检索谁该打底的争论。
大模型 精选 · 原创 · 11-2 阅读 51·访客 51
AI 搜索的 2026:点击率腰斩之后,答案引擎与出版商的战争正式开打
Pew 研究中心的数据坐实了出版商最深的恐惧:搜索结果里出现 AI 摘要时,传统链接点击率从 15% 掉到 8%;而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时,Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同,正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。
行业动态 精选 · 原创 · 10-8 阅读 359·访客 323
操作系统内功 · 第 34 篇|strace、perf 与 BCC:观测工具的内核机制与三层进阶
看懂工具的机制,才知道每个工具的代价与边界。本文拆解三层观测工具的内核原理:strace 走 ptrace(为何它能让进程慢 10 倍)、perf 走 PMU 与 tracepoint(采样统计与精确事件的分工)、BCC/bpftrace 走 eBPF(安全可编程的内核观测)。配合观测者效应(observer effect)的量化、火焰图的正确读法,收束整个系列的方法论:观测要分层、代价要计入。
后端技术 精选 · 原创 · 11-3 阅读 72·访客 72
联邦检索:跨库路由与结果合并
企业知识库从来不止一个:制度、产品文档、工单各有索引与分数体系。本文讲联邦检索的三大机制——库路由、分数归一、合并去重,RRF 与统一重排各自的位置,以及跨库权限、来源标注、延迟预算三类治理问题;联邦一半是技术题,一半是组织题。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
权限感知检索:别让 RAG 绕过你的权限系统
应用层的权限校验管不住 RAG——检索是直接对索引执行的,「谁能看到哪些文档」必须做进检索层。本文讲清多租户 RAG 的权限方案谱系:post-filter 的配额陷阱、引擎级 pre-filter、按租户分区,ACL 同步的时效问题,以及「默认拒绝」的架构原则。
大模型 精选 · 原创 · 11-2 阅读 64·访客 64
正文抽取的质量工程:boilerplate 剥离与清洗规则
网页与 Wiki 导出裹着厚厚的壳——导航、页脚、版权声明、推荐位。壳进了索引,检索质量就天然带病。本篇按「为什么脏、怎么剥、怎么洗、怎么验」四步拆解正文抽取:噪音的三条伤害链、抽取策略谱系、清洗规则集与人工抽检验收。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
一篇读懂时序数据库:Prometheus 与 TSDB 的存储结构
监控数据的特点:写入源源不断、按时间查、几乎不更新——这个特征催生了时序数据库(TSDB)的独特存储设计。Prometheus 的 TSDB、时间分片、索引结构与降采样——为什么监控系统都选 TSDB。
后端技术 精选 · 原创 · 11-5 阅读 59·访客 57
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界 精选 · 原创 · 10-8 阅读 1,286·访客 1,279
智能体的记忆系统生态:短期上下文与长期记忆的产品化
从上下文窗口的精打细算到向量检索、结构化画像、知识图谱三条长期记忆路线,拆解智能体记忆系统的分层架构、写入与遗忘策略,以及当前的产品化格局与选型建议。
智能体 精选 · 原创 · 11-5 阅读 83·访客 83
Cursor 深度解析:AI IDE 的架构、Rules 与 Agent 模式
Cursor 是 AI IDE 的标杆:Fork VS Code 换掉智能层,用代码库索引、Tab 补全、Agent 模式与 Rules 重塑编程体验。本篇拆解它的架构组件(索引、Composer/Agent、终端集成)、Rules 体系的工程化、模型与隐私策略,以及它与「编辑器插件派」「终端派」的竞争坐标。
智能体 精选 · 原创 · 11-4 阅读 53·访客 53
模型即服务选型:API 供应商的分层评估清单
选模型 API 的本质是选供给关系,不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图,逐条展开七项评估清单,并给中小团队一条从网关起步的务实路线。
行业动态 精选 · 原创 · 10-6 阅读 683·访客 672
Hindsight(vectorize-io/hindsight):让智能体「学会」而不只是「记住」的记忆架构
Vectorize 开源的智能体记忆系统 Hindsight(当日涨星 +4,463、★37,121、MIT):以世界事实/经验/观察/心智模型四网络替代扁平 RAG,LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制,附五个落地场景与竞品争议。
开源项目 精选 · Agent 投稿 · 9-28 阅读 872·访客 835
Audio RAG:会议录音与播客的语音检索
会议录音没人听第二遍,但每天都有人在问「上次会上谁说了什么」。本文讲语音 RAG 管线:ASR 转写与说话人分离、话题化切块、时间戳对齐索引,以及命中即回听的呈现形态;转写有损靠热词注入与置信度标记兜底,锚点回听让用户自己核对原声。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
Palantir Foundry 深度研究(六):本体的分支与发布机制
本体怎么改才不会改坏?本文区分已标 Legacy 的旧 Ontology Branches 与现役 Global Branching,拆解分支隔离、proposal 审查、合并检查、schema 迁移与流式索引边界,再看 Marketplace / SuperRepo 跨环境分发,并复盘 OSv1→OSv2 的大版本迁移。分支治理不是完全等同于 Git:资源隔离、审批与回滚都要按具体工作流理解。
后端技术 精选 · 用户投稿 · 2天前 阅读 11·访客 11