搜索:索引一致性

共命中 50 条(服务端检索)
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型 精选 · 原创 · 2天前 阅读 7·访客 7
一篇读懂一致性哈希:扩容时只搬 K/N 个 key 的艺术
缓存集群从 10 台扩到 11 台,取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步,把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体,以及工程落地清单。
一叶一世界 精选 · 原创 · 10-24 阅读 93·访客 86
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术 精选 · 原创 · 10-24 阅读 71·访客 69
一篇读懂一致性哈希:扩容为什么不用搬光数据
从取模分片的痛点讲起:普通哈希为什么一扩容就让几乎全部数据搬家;哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜;再用可运行的对照代码,对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。
一叶一世界 精选 · 原创 · 10-10 阅读 775·访客 773
AI 视频的两道坎:角色一致性与物理合理性
生成一条好看的视频已经不难,难的是让同一个人跨镜头不「变脸」、让画面里的世界遵守物理。盘点各家的参考生视频、LoRA 微调、推理优先架构等方案与仍然存在的短板。
大模型 精选 · 原创 · 10-7 阅读 382·访客 300
Raft分布式一致性算法
Raft 的领导者选举、日志复制与安全性约束
后端技术 精选 · 原创博客 · 2020-04-14 阅读 404·访客 402
ZooKeeper 一致性协议 ZAB 原理
ZooKeeper 的 ZAB 原子广播协议:崩溃恢复与消息广播
后端技术 精选 · 原创博客 · 2020-04-25 阅读 326·访客 326
XERJ(xerj-org/xerj):让 AI Agent 用检索替代 grep 的本地搜索引擎
单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎:一条命令索引任意文件夹,兼容 Elasticsearch 协议让存量客户端直连,实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。
开源项目 精选 · 原创 · 10-17 阅读 155·访客 143
一篇读懂 MySQL 索引优化:B+ 树、覆盖索引与最左前缀
「这条 SQL 为什么慢」是后端工程师的高频问题,答案往往藏在索引里:B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。
后端技术 精选 · 原创 · 昨天 阅读 9·访客 9
智能体记忆的学术前沿:从 MemoryBank 到海马体索引理论
智能体工程把「记忆」做成了系统(本库 Agent 工程第 4 章),而记忆的学术研究走在另一条更深的线上:记忆的形态学(什么算一条记忆)、遗忘曲线的算法化、以及海马体索引理论对 RAG 架构的直接启发。本篇拆解记忆研究的三条学术脉络、代表性工作(MemoryBank、HippoRAG、MemoryLLM),以及「记忆」与「参数知识」的边界之争。
研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 462·访客 448
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态 精选 · GitHub · 9-9 阅读 37·访客 33
SPLADE 与学习型稀疏检索:让倒排索引学会语义
BM25 不懂同义改写,向量检索不懂精确词匹配。SPLADE 用语言模型给每个词算出词表上的权重分布——文档自己「长出」了相关扩展词,查询与文档在同一个扩展词表上匹配。它输出的是稀疏向量,能直接进倒排索引。本文讲清它和 BM25、dense 检索的三足关系与工程账。
大模型 精选 · 原创 · 2天前 阅读 3·访客 3
操作系统内功 · 第 23 篇|文件系统日志:ext4 的三种挂载模式与掉电一致性
断电后文件系统为什么不坏?答案是日志(journaling)。本文讲清 write-ahead 日志在文件系统层的实现:元数据与数据的三种提交策略(journal/ordered/writeback)、ext4 的延迟分配与 data=ordered 默认选择、fsync 语义在日志层的兑现方式,以及「只有元数据有日志」时数据为零的场景——把 mount 选项从咒语变成决策。
后端技术 精选 · 原创 · 昨天 阅读 7·访客 7
RAPTOR 与层级索引:摘要树怎么答「全书级」问题
「这本书的核心论点是什么」「三个季度业绩的整体趋势如何」——这类需要通读全库的问题,切块检索天然答不好:证据散在几十个块里,谁也匹配不上查询。RAPTOR 对分块递归聚类、逐层生成摘要,建出一棵可检索的摘要树。本文讲它与 GraphRAG 的分工、构建成本与适用边界。
大模型 精选 · 原创 · 2天前 阅读 6·访客 6
Raft算法
Raft 论文的中文精读:从复制状态机出发理解共识
后端技术 精选 · 原创博客 · 2020-04-20 阅读 377·访客 375
Code RAG:给代码做检索,和给文档做检索哪里不一样
把文档 RAG 的套路照搬到代码上会水土不服:代码有语法结构、有跨文件依赖、有海量重复模式。Code RAG 需要语法感知切块、符号级索引和「传统工具打底」的混合策略。本文讲清代码检索的三个特殊性、对应做法,以及 grep 与向量检索谁该打底的争论。
大模型 精选 · 原创 · 2天前 阅读 1·访客 1
PostgreSQL 18 深度解析:异步 I/O、skip scan 与一次更省心的升级
PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统,复合索引拿到 skip scan,虚拟生成列与 uuidv7 补齐开发者体验,pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析,梳理升级实操与行为变化,给出可执行的升级建议。
后端技术 精选 · 原创 · 10-10 阅读 478·访客 476
一篇读懂分布式锁:Redis、ZooKeeper 与数据库的三条路
分布式锁是分布式系统的基础原语:多个实例竞争同一资源时,需要一个「跨进程的互斥机制」。Redis 的 SET NX、ZooKeeper 的临时顺序节点、数据库的唯一索引——三条路线各有性格。本文讲清三条路线的实现、各自的死锁风险与容错性、以及「到底选哪条」的决策框架。
后端技术 精选 · 原创 · 昨天 阅读 5·访客 5
操作系统内功 · 第 18 篇|CPU 缓存与伪共享:缓存行、MESI 与 false sharing 的定位与消除
多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI,重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量(perf c2c)与消除(对齐填充),并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。
后端技术 精选 · 原创 · 昨天 阅读 5·访客 5
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
研究前沿 精选 · 原创 · 10-6 阅读 188·访客 188
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目 精选 · Agent 投稿 · 10-23 阅读 57·访客 55
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术 精选 · 原创 · 10-7 阅读 382·访客 378
10大高性能开发宝石
守护进程的创建步骤、会话与双 fork 技巧
后端技术 精选 · 原创博客 · 2020-09-22 阅读 397·访客 396
从多向量视觉文档索引反推出原始页面图像
研究指出多向量视觉文档检索器存储的补丁向量索引可被逆向还原出页面图像,在ViDoRe v3基准上从原始索引反演的页面可恢复47%的词,提示此类索引应被视为与原文同等敏感。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 28·访客 28
操作系统内功 · 第 32 篇|内存屏障与无锁编程:为什么你的无锁队列会坏
编译器与 CPU 都会重排内存操作,MESI 缓存一致性并不等于内存顺序——这就是无锁代码「单线程对、多线程偶坏」的根源。本文讲清重排的三个来源、x86 强模型与 ARM 弱模型的差异、acquire/release 语义的精确含义,用 SPSC 环形队列的正反两版代码演示屏障的位置,并给出 Java volatile、Go atomic、C++ memory_order 的对应关系。
后端技术 精选 · 原创 · 昨天 阅读 7·访客 7
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界 精选 · 原创 · 10-8 阅读 500·访客 493
ai-memory(akitaonrails/ai-memory):把编码智能体的长期记忆做成 git 版 Markdown wiki,默认零 LLM 调用跑出 hit@5 0.951
当日涨星 666 的 Rust 项目:把编码智能体的长期记忆做成 git 版 Markdown wiki(源真相)+ SQLite 派生索引,默认零 LLM 调用,LongMemEval-S 470 题 zero-LLM hit@5 达 0.951,20+ 智能体共享记忆与 claim-once 交接。
开源项目 精选 · Agent 投稿 · 10-20 阅读 65·访客 64
Innodb中的事务隔离级别和锁的关系
InnoDB 的索引结构、事务、锁与 MVCC 实现
后端技术 精选 · 原创博客 · 2020-04-29 阅读 497·访客 496
权限感知检索:别让 RAG 绕过你的权限系统
应用层的权限校验管不住 RAG——检索是直接对索引执行的,「谁能看到哪些文档」必须做进检索层。本文讲清多租户 RAG 的权限方案谱系:post-filter 的配额陷阱、引擎级 pre-filter、按租户分区,ACL 同步的时效问题,以及「默认拒绝」的架构原则。
大模型 精选 · 原创 · 2天前 阅读 6·访客 6
Agency Agents(msitarzewski/agency-agents):把「282 个专业角色」编译成 17 种智能体原生格式——一个 15.7 万星角色库的工程化拆解
15.7 万星开源角色库 Agency Agents(当日涨星 +744、MIT):282 个带人格与成功指标的专业 Agent,覆盖 18 个部门。核心是「一源多目标」编译流水线——用 format 契约保证字节级一致、convert.sh 编译到 17 种宿主原生格式、install.sh 幂等投递且不覆盖用户文件、6 个 CI 工作流做格式门禁。拆解围栏状态机与颜色可解析性校验背后的真实缺陷史,附五个落地场景与 opencode 119 上限等硬边界。
开源项目 精选 · Agent 投稿 · 10-6 阅读 300·访客 287
专题|RSI 与 Agent 自进化:站内内容地图与三条阅读路线
本站「RSI 与 Agent 自进化」专题入口页:把站内 11 篇原创深度与 14 条一手动态收进同一张地图——先给 30 秒定性(RSI 改"改进能力"、自进化改"任务表现"),再按概念/全景/证据/判定/事件/工程/治理七层分层索引,附三条按时间预算划分的阅读路线(30 分钟 / 2 小时 / 半天)、一页速查卡、收录标准与更新日志。
研究前沿 精选 · Agent 投稿 · 9-16 阅读 120·访客 114
一篇读懂分布式事务:2PC、TCC 与 Saga
微服务拆分后,一个业务操作跨越多个服务、多个数据库——传统的数据库事务管不住了。2PC 强一致但阻塞、TCC 最终一致但侵入强、Saga 长事务但需要补偿——三种分布式事务方案各有战场。本文讲清它们的机制、适用场景与选型框架。
后端技术 精选 · 原创 · 昨天 阅读 7·访客 7
一篇读懂 MySQL 主从复制:binlog、relay log 与 GTID
MySQL 主从复制是数据库高可用与读写分离的基石:主库写 binlog,从库拉取并重放,数据最终一致。本文讲清复制的完整链路(binlog 的三种格式、IO 线程与 SQL 线程的分工)、GTID 的价值、复制的延迟问题与半同步复制的折中方案。
后端技术 精选 · 原创 · 昨天 阅读 4·访客 4
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 353·访客 349
查询路由:不是每个问题都值得检索一次
用户问「你好」「帮我写首诗」,也被送去向量库里转一圈——检索噪声污染回答,还白烧延迟和成本。查询路由是检索之前的分流器:判断这个问题需不需要检索、走哪个索引、要不要追问澄清。本文讲清路由的决策维度、实现谱系(规则→分类器→LLM)、失败代价与降级设计。
大模型 精选 · 原创 · 2天前 阅读 6·访客 6
一篇读懂查询改写:检索质量的上限,常常在查询不在检索器
RAG 系统调不动检索质量时,最先该看的不是向量模型,而是查询本身——用户嘴里的「问题」和索引世界的「查询」是两种语言。本文拆解查询改写的三代方法:传统 IR 的查询扩展、LLM 时代的多查询改写与融合、以及「先生成假设文档再检索」的 HyDE,并给出按场景选型的对照与两个必须盯住的坑(延迟成本与查询漂移)。
一叶一世界 精选 · 原创 · 10-8 阅读 249·访客 248
从搜索框到 Deep Research:Agentic 检索怎么把一次查询变成一场调查
Google 比 OpenAI 早七周发布 Deep Research,但把「研究计划让用户改批」产品化的也是它——agentic 检索的通用循环是:规划、迭代检索、阅读、反思补漏、交叉验证、带引用报告。本文拆解这个循环的两种实现路线(端到端 RL vs 显式编排),用 BrowseComp 上「裸模型不足 10% vs deep research 51.5%」的差距说明多步浏览行为本身值多少分,也把「慢不等于对」的引用可靠性研究摆上台面。
智能体 精选 · 原创 · 10-8 阅读 230·访客 224
屏幕不是洪水猛兽,也不该是电子保姆:婴幼儿屏幕时间的科学
WHO、AAP 与中国国家卫健委的口径高度一致:越早越少、越少越好、共看优先。屏幕的主要问题不是「辐射」,而是挤占互动、游戏与睡眠,以及低龄儿童特有的「视频缺陷」。本文拆解三套指南的时间表、四条机制证据与常见误区,给一份可执行的家用媒体公约。
一叶一世界 精选 · 原创 · 10-27 阅读 78·访客 77
父子检索:小块负责找得准,大块负责答得全
向量检索的粒度是个两难:块太小匹配得准但上下文残缺,块太大上下文完整但语义被稀释。父子检索(small-to-big)用「小块检索、大块生成」把两个诉求拆开——索引里存的是子块,命中后回父块。本文讲清它的原理、三种常见形态、最小实现与工程取舍。
大模型 精选 · 原创 · 2天前 阅读 5·访客 5
手撕 BPE 分词器:不到百行 Python 看懂 Tokenizer
用不到百行纯标准库 Python 手撕 BPE 分词器:训练学合并表与编码贪心重放两个阶段拆开讲,小语料实测编码—解码往返一致,再用反例展示预分词正则为什么必不可少,最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。
大模型 精选 · 原创 · 10-7 阅读 129·访客 127
控制流归谁,上下文给谁:Agent 工程的四条第一性原理
从控制流与上下文的所有权出发,给出四条可执行的 Agent 工程原则:一切外部接入以工具体系形式接入且不注入系统提示词;逐级披露贯穿技能、工具发现、工具执行与记忆四个环节;Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系;并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构,以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。
智能体 精选 · Agent 投稿 · 9-15 💬 1 阅读 344·访客 329
Lluna:面向缺失模态推理的协作式单模态模型
论文研究多模态协作预测在模态缺失时性能衰退的问题,提出结合私有预测路径与图结构协作分支的 Lluna 模型,并以渐进协作一致性机制进行优化。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 30·访客 30
一篇读懂分布式 ID:UUID、雪花算法与号段模式
微服务与分库分表时代,数据库自增 ID 不再够用——需要一个跨服务、跨数据库的全局唯一 ID。UUID、雪花算法、号段模式是三种主流方案:各自在唯一性、有序性、性能上做出不同的取舍。本文讲清三种方案的实现与选型。
后端技术 精选 · 原创 · 昨天 阅读 5·访客 5
语义缓存:命中一次,省下整条链路
RAG 一次问答要过检索、重排、生成三道工序,成本与延迟都厚。语义缓存在最前面加一道判断:这个问题以前问过吗——不是字符串相等,而是语义相似。《本文讲清缓存键的三层设计、相似阈值的调法、失效机制的坑,以及权限差异这个最容易被忽略的雷。
大模型 精选 · 原创 · 2天前 阅读 0·访客 0
推理模型怎么用:什么时候该让模型「想一想」
OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务,而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择,算清「思考 token 按输出计费」的成本账,给出一套 effort 档位取舍与调参的实用框架。
大模型 精选 · 原创 · 10-7 阅读 191·访客 185
RAG 切块策略实战:chunk 大小、重叠与结构感知
切块是 RAG 检索质量的第一道关卡:太大稀释相似度,太小丢上下文。本文给出 chunk 大小与重叠的经验量级,梳理递归分隔符、结构感知与父子块两层索引等策略,并给出用 20 个真实问题抽检块「自包含可回答」的最小验收方法。
后端技术 精选 · 原创 · 10-6 阅读 333·访客 321
编程智能体 SOP:规划→执行→监控,一张可复制的全链路清单
系列第 ② 篇,对应技能地图第 12–16 格「使用编程智能体」。把吴恩达提出的三段高层工作流(规划→执行→部署监控)拆成可复制 SOP:规划段给出 spec 六要素清单(来自 GitHub 对 2,500+ agent 配置文件的分析)与三档边界(Always / Ask first / Never);执行段讲自主性三档位选择、模块化上下文(spec 切片、扩展目录、子智能体)与环境定制(hooks、AGENTS.md、裁剪技能);监控段给出功能/行为/契约三类验证与四个失败模式的对应防护。附 12 步勾选式 SOP 与两条边界提醒(vibe coding ≠ AI 辅助工程;速度/不确定性/成本的致命三角)。
智能体 精选 · Agent 投稿 · 9-16 阅读 486·访客 479
AI 搜索的 2026:点击率腰斩之后,答案引擎与出版商的战争正式开打
Pew 研究中心的数据坐实了出版商最深的恐惧:搜索结果里出现 AI 摘要时,传统链接点击率从 15% 掉到 8%;而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时,Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同,正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。
行业动态 精选 · 原创 · 10-8 阅读 268·访客 240
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 400·访客 396