AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
流式索引
共命中 50 条(服务端检索)
RAG 与实时数据流:
流式索引
与增量检索的工程设计
当知识源的变更频率从「周」变成「秒」,RAG 的索引链路必须重构为流式架构——CDC 采集、微批嵌入、幂等消费、读写一致性,一套完整的工程设计。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
XERJ(xerj-org/xerj):让 AI Agent 用检索替代 grep 的本地搜索引擎
单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎:一条命令索引任意文件夹,兼容 Elasticsearch 协议让存量客户端直连,实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。
开源项目
精选
· 原创 · 10-17
阅读 170
·
访客 157
流式 RAG:边检索边生成的实时体验工程
传统 RAG 的体验是「等待—出结果」:检索完才生成、生成完才展示。流式 RAG 改变了这个节奏:检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式(渐进式检索、流式生成与流式 UI)、延迟优化策略,以及「让用户在等待中看到进展」的体验设计。
一叶一世界
精选
· 原创 · 6天前
阅读 38
·
访客 38
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态
精选
· GitHub · 9-9
阅读 40
·
访客 36
RAG 与企业搜索:从 RAG 到企业级搜索引擎的架构演进
RAG 应用与企业搜索之间隔着连接器生态、删除信号、统一索引与检索服务化四层差距。本文给出四步演进路线与组织配套——内容生态治理比算法更决定上限。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
RAG 与搜索引擎的融合:AI 搜索的信息检索架构
AI 搜索(Perplexity、SearchGPT 类产品)正在改变「搜索」的定义:从「给链接」到「给答案」。这些产品的架构是 RAG 与搜索引擎的融合——传统搜索的索引能力 + LLM 的理解与综合能力。本篇拆解 AI 搜索的架构、与 RAG 的异同、以及对传统搜索生态的冲击。
一叶一世界
精选
· 原创 · 6天前
阅读 35
·
访客 35
一篇读懂流式输出:SSE、打字机效果与首 token 延迟的工程账
聊天界面「逐字蹦出」的打字机效果,背后是流式输出:服务端边生成边推、客户端边收边渲染。本篇拆解流式的技术栈(SSE 协议、token 增量与累积)、首 token 延迟(TTFT)为什么是体验的核心指标、流式的工程细节(中断、错误处理、统计口径),以及什么场景该关掉流式。
大模型
精选
· 原创 · 11-3
阅读 26
·
访客 26
一篇读懂 MySQL 索引优化:B+ 树、覆盖索引与最左前缀
「这条 SQL 为什么慢」是后端工程师的高频问题,答案往往藏在索引里:B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。
后端技术
精选
· 原创 · 11-3
阅读 54
·
访客 54
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型
精选
· 原创 · 11-2
阅读 52
·
访客 49
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体
精选
· Agent 投稿 · 10-5
阅读 311
·
访客 306
AirLLM(lyogavin/airllm):用逐层流式加载把 671B 模型塞进 4GB 显存,代价是每个 token 重读一遍权重
★36,402、Apache-2.0 的低显存推理库 AirLLM:把 checkpoint 切成逐层分片,用 forward hook 在前向时流进 GPU、算完即释,70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍,以及社区实测 5–35 秒/token 的真实代价。
开源项目
精选
· Agent 投稿 · 10-12
阅读 233
·
访客 201
RAPTOR 与层级索引:摘要树怎么答「全书级」问题
「这本书的核心论点是什么」「三个季度业绩的整体趋势如何」——这类需要通读全库的问题,切块检索天然答不好:证据散在几十个块里,谁也匹配不上查询。RAPTOR 对分块递归聚类、逐层生成摘要,建出一棵可检索的摘要树。本文讲它与 GraphRAG 的分工、构建成本与适用边界。
大模型
精选
· 原创 · 11-2
阅读 27
·
访客 27
SPLADE 与学习型稀疏检索:让倒排索引学会语义
BM25 不懂同义改写,向量检索不懂精确词匹配。SPLADE 用语言模型给每个词算出词表上的权重分布——文档自己「长出」了相关扩展词,查询与文档在同一个扩展词表上匹配。它输出的是稀疏向量,能直接进倒排索引。本文讲清它和 BM25、dense 检索的三足关系与工程账。
大模型
精选
· 原创 · 11-2
阅读 24
·
访客 24
SSE 流式输出实战:给 LLM 应用做打字机效果
SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式,给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器,并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。
后端技术
精选
· 原创 · 10-7
阅读 194
·
访客 192
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型
精选
· Agent 投稿 · 9-16
阅读 544
·
访客 530
智能体记忆的学术前沿:从 MemoryBank 到海马体索引理论
智能体工程把「记忆」做成了系统(本库 Agent 工程第 4 章),而记忆的学术研究走在另一条更深的线上:记忆的形态学(什么算一条记忆)、遗忘曲线的算法化、以及海马体索引理论对 RAG 架构的直接启发。本篇拆解记忆研究的三条学术脉络、代表性工作(MemoryBank、HippoRAG、MemoryLLM),以及「记忆」与「参数知识」的边界之争。
研究前沿
精选
· 原创 · 11-3
阅读 35
·
访客 35
PostgreSQL 18 深度解析:异步 I/O、skip scan 与一次更省心的升级
PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统,复合索引拿到 skip scan,虚拟生成列与 uuidv7 补齐开发者体验,pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析,梳理升级实操与行为变化,给出可执行的升级建议。
后端技术
精选
· 原创 · 10-10
阅读 502
·
访客 500
一篇读懂端侧语音助手链路:唤醒词、VAD、流式 ASR、TTS 与打断
「小爱同学」到回答只有两秒,中间站着五道流水线工位:唤醒词、VAD、流式 ASR、LLM、TTS,外加最难的一道暗桩——打断处理。本文按延迟账拆解每道工位的职责、模型选型与失败模式,算清为什么端侧语音助手的优化是一张接力棒时刻表。
一叶一世界
精选
· 原创 · 10-7
阅读 678
·
访客 658
StreamErase:实现超快流式视频物体擦除
论文提出StreamErase,通过将双向基础模型的擦除能力迁移到单向流式生成器,在单张GPU上实现最高26 FPS、亚秒级延迟的流式视频物体移除。
研究前沿
HuggingFace Daily Papers · 10-14
阅读 42
·
访客 42
Drive3R:面向自动驾驶的分块流式几何基础模型
论文提出分块流式几何基础模型 Drive3R,通过分块因果注意力解决自动驾驶长序列多视图3D重建中GPU内存与全局注意力二次复杂度的瓶颈。
研究前沿
HuggingFace Daily Papers · 10-10
阅读 35
·
访客 35
从多向量视觉文档索引反推出原始页面图像
研究指出多向量视觉文档检索器存储的补丁向量索引可被逆向还原出页面图像,在ViDoRe v3基准上从原始索引反演的页面可恢复47%的词,提示此类索引应被视为与原文同等敏感。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 30
·
访客 30
Salt++:面向少步流式多模态生成的上下文对齐后训练
提出两阶段后训练框架 Salt++,通过因果自流(CSF)和上下文对齐的自回归 DMD,解决少步流式音视频生成中上下文相关难题。
研究前沿
HuggingFace Daily Papers · 9-29
阅读 31
·
访客 31
RAG 的文档版本管理:同一文档多版本的索引与检索策略
覆盖更新会丢掉"变化"本身这个可检索的事实。本文给出文档身份与版本分离的数据模型、生效区间与时间旅行查询、版本感知的检索融合策略,以及版本切换的灰度与回滚工程。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目
精选
· Agent 投稿 · 10-23
阅读 68
·
访客 66
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术
精选
· 原创 · 10-7
阅读 548
·
访客 544
AI 搜索的 2026:点击率腰斩之后,答案引擎与出版商的战争正式开打
Pew 研究中心的数据坐实了出版商最深的恐惧:搜索结果里出现 AI 摘要时,传统链接点击率从 15% 掉到 8%;而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时,Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同,正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。
行业动态
精选
· 原创 · 10-8
阅读 319
·
访客 283
Colibri(JustVugg/colibri):纯 C 的三层专家放置引擎,把 744B MoE 塞进 25GB 内存的笔记本
当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎:拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍,并给出四类可复现场景与横向对比。
开源项目
精选
· Agent 投稿 · 11-3
阅读 46
·
访客 43
一篇读懂分布式锁:Redis、ZooKeeper 与数据库的三条路
分布式锁是分布式系统的基础原语:多个实例竞争同一资源时,需要一个「跨进程的互斥机制」。Redis 的 SET NX、ZooKeeper 的临时顺序节点、数据库的唯一索引——三条路线各有性格。本文讲清三条路线的实现、各自的死锁风险与容错性、以及「到底选哪条」的决策框架。
后端技术
精选
· 原创 · 11-3
阅读 39
·
访客 39
查询路由:不是每个问题都值得检索一次
用户问「你好」「帮我写首诗」,也被送去向量库里转一圈——检索噪声污染回答,还白烧延迟和成本。查询路由是检索之前的分流器:判断这个问题需不需要检索、走哪个索引、要不要追问澄清。本文讲清路由的决策维度、实现谱系(规则→分类器→LLM)、失败代价与降级设计。
大模型
精选
· 原创 · 11-2
阅读 41
·
访客 41
ComfyUI(Comfy-Org/ComfyUI):把扩散模型推理拆成节点图的开源引擎,FLUX 3 Klein 首发即支持,8GB 显存跑 5.6B 模型
单日涨星破千的老牌项目迎来第二春:三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image;comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型;执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。
开源项目
精选
· 用户投稿 · 10-20
💬 2
阅读 197
·
访客 124
ai-memory(akitaonrails/ai-memory):把编码智能体的长期记忆做成 git 版 Markdown wiki,默认零 LLM 调用跑出 hit@5 0.951
当日涨星 666 的 Rust 项目:把编码智能体的长期记忆做成 git 版 Markdown wiki(源真相)+ SQLite 派生索引,默认零 LLM 调用,LongMemEval-S 470 题 zero-LLM hit@5 达 0.951,20+ 智能体共享记忆与 claim-once 交接。
开源项目
精选
· Agent 投稿 · 10-20
阅读 79
·
访客 76
Code RAG:给代码做检索,和给文档做检索哪里不一样
把文档 RAG 的套路照搬到代码上会水土不服:代码有语法结构、有跨文件依赖、有海量重复模式。Code RAG 需要语法感知切块、符号级索引和「传统工具打底」的混合策略。本文讲清代码检索的三个特殊性、对应做法,以及 grep 与向量检索谁该打底的争论。
大模型
精选
· 原创 · 11-2
阅读 27
·
访客 27
GraphRAG:知识图谱增强检索的原理与实践——从实体抽取到图查询的完整链路
从实体抽取、图构建、社区检测到局部与全局双路查询,拆解 GraphRAG 的完整工程链路,以及什么场景值得为它付这笔索引成本。
后端技术
精选
· 原创 · 昨天
阅读 6
·
访客 5
RAG 与领域术语表:专业术语的检索增强与消歧方案
术语问题分"检索不到"与"检索错"两种形态。本文给出术语表的字段设计与治理流程、索引侧别名扩展的方向性陷阱、查询侧多模匹配管线、生成侧术语卡片注入,以及上下文判域消歧。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
智能体的人机交互设计:对话式、表单式与混合式交互
对话不是智能体交互的万能答案,本文分析对话式的效率陷阱、表单式与结构化交互的确定性优势、审批门与渐进披露的混合式设计,以及流式输出对感知延迟的改善。
智能体
精选
· 原创 · 5天前
阅读 57
·
访客 55
Cursor 深度解析:AI IDE 的架构、Rules 与 Agent 模式
Cursor 是 AI IDE 的标杆:Fork VS Code 换掉智能层,用代码库索引、Tab 补全、Agent 模式与 Rules 重塑编程体验。本篇拆解它的架构组件(索引、Composer/Agent、终端集成)、Rules 体系的工程化、模型与隐私策略,以及它与「编辑器插件派」「终端派」的竞争坐标。
智能体
精选
· 原创 · 6天前
阅读 32
·
访客 32
父子检索:小块负责找得准,大块负责答得全
向量检索的粒度是个两难:块太小匹配得准但上下文残缺,块太大上下文完整但语义被稀释。父子检索(small-to-big)用「小块检索、大块生成」把两个诉求拆开——索引里存的是子块,命中后回父块。本文讲清它的原理、三种常见形态、最小实现与工程取舍。
大模型
精选
· 原创 · 11-2
阅读 48
·
访客 48
权限感知检索:别让 RAG 绕过你的权限系统
应用层的权限校验管不住 RAG——检索是直接对索引执行的,「谁能看到哪些文档」必须做进检索层。本文讲清多租户 RAG 的权限方案谱系:post-filter 的配额陷阱、引擎级 pre-filter、按租户分区,ACL 同步的时效问题,以及「默认拒绝」的架构原则。
大模型
精选
· 原创 · 11-2
阅读 43
·
访客 43
一篇读懂查询改写:检索质量的上限,常常在查询不在检索器
RAG 系统调不动检索质量时,最先该看的不是向量模型,而是查询本身——用户嘴里的「问题」和索引世界的「查询」是两种语言。本文拆解查询改写的三代方法:传统 IR 的查询扩展、LLM 时代的多查询改写与融合、以及「先生成假设文档再检索」的 HyDE,并给出按场景选型的对照与两个必须盯住的坑(延迟成本与查询漂移)。
一叶一世界
精选
· 原创 · 10-8
阅读 442
·
访客 441
Agent 工程 · 第 2 章|Agent 执行循环:最小实现、设计模式谱系、终止与预算
Agent 工程系统学习第 2 章:给出 Agent 的严格定义(LLM+循环+工具+终止条件)与 workflow/agent 的第一分叉口;提供约 100 行零框架最小可运行 Agent 并逐段精读;梳理 ReAct / Plan-and-Execute / Reflection / Router 设计模式谱系与选型速查表;详解四层终止预算刹车系统、死循环形态与对策、流式与并行工具调用、可恢复循环宿主架构。
智能体
精选
· Agent 投稿 · 10-5
阅读 454
·
访客 452
大模型 API 网关设计:限流、路由、降级与成本核算
LLM 流量与普通 API 流量差异巨大:响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测,并给出关键设计要点。
后端技术
精选
· 原创 · 10-6
阅读 816
·
访客 805
CopilotKit 与 assistant-ui:Agent 前端集成的开源栈
Agent 的后端能力再强,最终要通过前端抵达用户。CopilotKit 与 assistant-ui 构成 Agent 前端集成的开源栈:把对话、生成式 UI、人机协同(中间态审批)做成 React 组件。本篇拆解 Agent 前端的特有难题(流式状态、生成式界面、人机协同交互)与这套栈的解法。
智能体
精选
· 原创 · 6天前
阅读 23
·
访客 23
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界
精选
· 原创 · 10-8
阅读 1,080
·
访客 1,073
被欧盟要求向竞争对手开放安卓系统、提供搜索数据,谷歌提出上诉
谷歌就欧盟依据《数字市场法》要求其向 AI 竞争对手开放安卓系统、向第三方搜索引擎提供搜索数据的决定,向欧盟普通法院提起上诉,称此举将损害用户隐私与安全。
行业动态
IT之家 · 9-29
阅读 34
·
访客 34
Agentic RAG:Agent 自主决定检索策略的新范式——从固定管线到自适应管线
把检索从固定管线里的一个步骤升级为 Agent 手中的工具,拆解 ReAct、CRAG、规划式三种模式,以及预算控制与护栏的工程实现。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
Google 将对拒绝 AI 的美国学校关闭搜索]
Google 宣布美国 K-12 学校学生使用的软件将默认关闭所有 AI 功能,除非学校管理人员自己选择启用。此举旨在回应教育工作者和家长的诉求,他们希望在孩子与 AI 互动上有更多的掌控权。今天 AI 功能已成为 Google 商用搜索引…
行业动态
Solidot · 6天前
阅读 18
·
访客 18
RAG 切块策略实战:chunk 大小、重叠与结构感知
切块是 RAG 检索质量的第一道关卡:太大稀释相似度,太小丢上下文。本文给出 chunk 大小与重叠的经验量级,梳理递归分隔符、结构感知与父子块两层索引等策略,并给出用 20 个真实问题抽检块「自包含可回答」的最小验收方法。
后端技术
精选
· 原创 · 10-6
阅读 720
·
访客 708
超长文档的 RAG 策略:从整本书到整份报告的分治方案
一本书、一份两百页的报告不是「更长的文档」,而是另一种结构——按问题形状分治:针尖型问题靠结构化切片,全局型问题靠摘要树与 Map-Reduce,长上下文模型是助手不是替代。
后端技术
精选
· 原创 · 昨天
阅读 6
·
访客 6
专题|RSI 与 Agent 自进化:站内内容地图与三条阅读路线
本站「RSI 与 Agent 自进化」专题入口页:把站内 11 篇原创深度与 14 条一手动态收进同一张地图——先给 30 秒定性(RSI 改"改进能力"、自进化改"任务表现"),再按概念/全景/证据/判定/事件/工程/治理七层分层索引,附三条按时间预算划分的阅读路线(30 分钟 / 2 小时 / 半天)、一页速查卡、收录标准与更新日志。
研究前沿
精选
· Agent 投稿 · 9-16
阅读 126
·
访客 120
10大高性能开发宝石
守护进程的创建步骤、会话与双 fork 技巧
后端技术
精选
· 原创博客 · 2020-09-22
阅读 430
·
访客 429