搜索:向量数据库

共命中 50 条(服务端检索)
开源向量数据库深度对比:Qdrant、Weaviate、Milvus 与 Chroma
向量数据库是 RAG 的地基,开源方案有四巨头:Qdrant 的 Rust 性能、Weaviate 的模块化、Milvus 的云原生规模化、Chroma 的极简开发体验。本篇从架构、性能、生态与运维四个维度深度对比,帮你选对地基。
一叶一世界 精选 · 原创 · 11-4 阅读 76·访客 76
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 1,539·访客 1,535
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 635·访客 631
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 11-4 阅读 77·访客 77
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 11-4 阅读 69·访客 69
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 615·访客 604
一篇读懂时序数据库:Prometheus 与 TSDB 的存储结构
监控数据的特点:写入源源不断、按时间查、几乎不更新——这个特征催生了时序数据库(TSDB)的独特存储设计。Prometheus 的 TSDB、时间分片、索引结构与降采样——为什么监控系统都选 TSDB。
后端技术 精选 · 原创 · 11-5 阅读 67·访客 65
一篇读懂数据库连接池:为什么不能每个请求都建连接
数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接,数据库会被认证风暴打垮。连接池通过复用连接解决这个问题,但池的参数(大小、超时、空闲回收)设计不当反而成为瓶颈。本文讲清连接池的原理与调优。
后端技术 精选 · 原创 · 11-3 阅读 62·访客 62
元数据过滤:让时间、部门与版本进得了检索
「最新版的报销制度是什么」——语义检索能命中所有版本的报销制度,但只有元数据知道哪份是最新的。过滤条件(时间、部门、版本、类型)与语义检索是互补的两轴,合不好会出现「过滤后召回骤降」的经典翻车。本文讲清 pre/post-filter 的取舍、过滤条件的抽取与兜底。
大模型 精选 · 原创 · 11-2 阅读 52·访客 52
电科金仓发布 AI 数据库:让大模型看懂企业私有数据
10 月 30 日,电科金仓在北京发布 AI 数据库产品,让大模型能够看懂企业私有数据。
行业动态 新浪财经 · 10-30 阅读 25·访客 24
连接器生态:Confluence、Notion 与数据库同步器的设计
企业知识不在你的库里,在 SaaS 工具里,连接器是 RAG 语料的第一公里。本篇拆解连接器的公共骨架(鉴权、增量游标、webhook、速率)、Wiki 与协作文档及数据库三类源的差异化设计,以及增量同步的经典陷阱与防御上游说谎的对账机制。
后端技术 精选 · 原创 · 2天前 阅读 5·访客 5
金融专题 53|金融数据工具地图:从行情软件到宏观数据库
研究的一半功夫在找对数据。这篇绘制一张金融数据工具地图:行情软件的分层、巨潮与 EDGAR 等公告原文渠道、统计局央行与 FRED 等宏观数据库、基金定期报告的数据读法,并拆解幸存者偏差、口径变更与前视偏差三个数据陷阱,给出选型原则。
一叶一世界 精选 · 原创 · 11-9 阅读 83·访客 81
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 990·访客 904
预过滤与后过滤:元数据过滤的性能账
「只查法务部的、只查 2024 年的」——元数据过滤在需求里只有一行,在检索链路里却是性能与正确性的双重岔路口。本文讲预过滤与后过滤的机制与失效形态、选择率主导的性能账、筛空的超额取回补偿与分区替代策略,以及过滤查询的常驻观测指标。
后端技术 精选 · 原创 · 2天前 阅读 11·访客 11
一篇读懂数据库备份与恢复:全量、增量与 PITR
备份是数据库运维的「最后防线」——但很多团队的备份从未恢复过。全量、增量、日志备份的三层体系,PITR(时间点恢复)的原理,以及「备份的可用性」只有靠恢复演练来证明。
后端技术 精选 · 原创 · 11-5 阅读 60·访客 59
操作系统内功 · 第 22 篇|O_DIRECT:绕过 Page Cache 的得与失——数据库为什么自管缓存
O_DIRECT 让 IO 完全绕过 Page Cache,把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界(对齐要求、无预读、无缓存合并)、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧,以及 io_uring 时代 Direct IO 从小众走向主流的转折。
后端技术 精选 · 原创 · 11-3 阅读 92·访客 92
NVIDIA 开源 Auto Ontology:给智能体补上企业数据这门语义课
NVIDIA 开源的 Auto Ontology 把数据库模式自动编译成机器可读的业务本体,让 text-to-SQL 智能体知道「revenue 到底怎么算」。11 月初在 Hacker News 冲到 292 分、star 破万,但第三方实测泼了冷水:两道题答错且答案毫无破绽。本文拆解其三段式原理、评测现状与社区争论。
开源项目 精选 · 用户投稿 · 11-11 阅读 68·访客 67
一篇读懂分布式锁:Redis、ZooKeeper 与数据库的三条路
分布式锁是分布式系统的基础原语:多个实例竞争同一资源时,需要一个「跨进程的互斥机制」。Redis 的 SET NX、ZooKeeper 的临时顺序节点、数据库的唯一索引——三条路线各有性格。本文讲清三条路线的实现、各自的死锁风险与容错性、以及「到底选哪条」的决策框架。
后端技术 精选 · 原创 · 11-3 阅读 55·访客 55
腾讯 WorkBuddy 5.5.6 上线全栈网页应用生成能力,自带云数据库、文件存储、注册登录和 AI 调用
IT之家 9 月 18 日消息,腾讯 WorkBuddy 宣布,WorkBuddy 5.5.6 上线全栈「应用」生成能力,首期支持全栈网页应用生成: 自带云数据库、文件存储、注册登录和 AI 调用 ,免部署,发布即用。 据介绍,WorkBu…
行业动态 IT之家 · 9-18 阅读 58·访客 58
向量压缩:PQ、量化与二值嵌入,把内存账砍下来
一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来,向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线:标量量化降精度、PQ 降基数、二值化极限压缩,各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。
大模型 精选 · 原创 · 11-2 阅读 64·访客 63
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术 精选 · 原创 · 10-7 阅读 599·访客 595
一篇读懂 Embedding:文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何,手算一个余弦相似度的小例子,再用十几行代码演示从 encode 到 top-k 的完整流程,最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 542·访客 541
操作系统内功 · 第 57 篇|cpufreq 与功耗治理:governor、频率协同与 performance 惯例
CPU 不是永远满频:本篇区分 P-state 与 C-state 两本账,讲透 cpufreq 框架、governor 全集与 intel_pstate/HWP 的实现,解释数据库锁 performance 的惯例由来,以及 C-state 深睡对尾延迟的伤害与干预手段。
后端技术 精选 · 原创 · 11-10 阅读 65·访客 64
RAG 的隐私工程:个人信息保护与数据脱敏检索
RAG 知识库里存着企业的内部文档、员工的个人信息、客户的敏感数据——RAG 的检索过程必须保护这些隐私。本篇拆解 RAG 隐私工程的三个层面(入库脱敏、检索权限、输出过滤)以及 GDPR 等法规的合规要求。
一叶一世界 精选 · 原创 · 11-4 阅读 70·访客 69
国产数据库跑出AI新能力!OceanBase登顶国际Data Agent榜单
OceanBase团队提交的Data Agent方案登顶国际数据智能体基准Data Agent Benchmark]
智能体 量子位 · 9-21 阅读 103·访客 101
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
大模型 精选 · 原创 · 10-6 阅读 484·访客 451
合成数据研究:当模型开始互相教——从 phi 到「教科书质量」的数据工程
预训练数据墙(本库已有专篇)逼出了另一条路:用模型生成数据来训练模型。合成数据从「禁忌」(模型吃了自己会退化)进化为「主流」(前沿实验室的数据配方里都有它)。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成,以及合成数据的边界与风险。
研究前沿 精选 · 原创 · 11-3 阅读 72·访客 72
数据筛选与去重研究:数据质量对模型能力的影响
从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤,再到数据受限缩放定律,用实证数字回答「多干净的数据才值得训练」。
研究前沿 精选 · 原创 · 11-9 阅读 52·访客 52
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 10-25 阅读 105·访客 105
操作系统内功 · 第 63 篇|dirty 页面调参实战:vm.dirty_ratio 与写密集负载的调优
write() 为什么会突然集体卡顿?本篇讲 vm.dirty_ratio 与 dirty_background_ratio 的两级水位语义、写风暴的锯齿形态、数据丢失窗口的权衡,并按数据库、消息队列、文件服务器画像给出调参组合与观测点位。
后端技术 精选 · 原创 · 11-10 阅读 74·访客 74
实时大数据分析利器 Apache Druid
Druid 连接池的架构设计与监控能力解析
后端技术 精选 · 原创博客 · 2020-05-24 阅读 282·访客 281
一篇读懂 MySQL 主从复制:binlog、relay log 与 GTID
MySQL 主从复制是数据库高可用与读写分离的基石:主库写 binlog,从库拉取并重放,数据最终一致。本文讲清复制的完整链路(binlog 的三种格式、IO 线程与 SQL 线程的分工)、GTID 的价值、复制的延迟问题与半同步复制的折中方案。
后端技术 精选 · 原创 · 11-3 阅读 77·访客 77
一篇读懂分布式 ID:UUID、雪花算法与号段模式
微服务与分库分表时代,数据库自增 ID 不再够用——需要一个跨服务、跨数据库的全局唯一 ID。UUID、雪花算法、号段模式是三种主流方案:各自在唯一性、有序性、性能上做出不同的取舍。本文讲清三种方案的实现与选型。
后端技术 精选 · 原创 · 11-3 阅读 68·访客 67
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 11-9 阅读 78·访客 77
数据预处理的流水线:清洗、去重与工程账
预训练语料从原始爬取数据到能进训练管道,要过规则清洗、精确与模糊去重、质量打分、有害内容过滤几道工序;本文拆解每道工序的原理,以及流水线工程实现的幂等、留痕与成本账。
大模型 精选 · 原创 · 11-11 阅读 56·访客 56
智能体生态观察 · 第 36 篇|数据边界冲突:爬取协议、license 与开源社区的摩擦
AI 把「内容换流量」的旧交易打成了单方面取用。本文梳理爬取协议的失灵、平台的 API 收费与默认拦截反击、开源社区的许可更新与自治,最后推演数据边界的分层终局与从业者的应对清单。
智能体 精选 · 原创 · 11-9 阅读 67·访客 67
一篇读懂数据一致性校验:对账系统的设计与实现
分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」:定时比对、差异发现、修复闭环。拆解对账系统的设计:对什么、怎么对、发现差异怎么办。
后端技术 精选 · 原创 · 11-5 阅读 71·访客 70
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 11-3 阅读 54·访客 54
智能体生态观察 · 第 66 篇|数据分析智能体:从 NL2SQL 到洞察生成流水线
数据分析智能体的难点从来不在写 SQL,而在理解业务口径、验证结论真伪与承认数据不支持。本篇拆解取数、验证、解释的三段跃迁,讲透 schema 探查、查询自愈与结果校验的流水线工程,直面「SQL 跑通了但语义错了」的正确性危机,并观察 BI 厂商的 Agent 化与数据团队的角色迁移。
智能体 精选 · 原创 · 2天前 阅读 13·访客 13
智能体生态观察 · 第 32 篇|企业采购合规:安全问卷、数据协议与供应商评估
企业采购智能体,卡点不在功能在合规。本文拆解安全问卷的新考题、数据协议里训练用途条款的角力、供应商评估的三个新维度,以及试点预算与多供应商赛马的新采购玩法,给出采购双方的执行清单。
智能体 精选 · 原创 · 11-9 阅读 64·访客 64
一篇读懂灰度数据迁移:不停机改表与数据回填
「给亿级大表加个字段」可以停机做,但业务不能停——不停机的 DDL、大表的数据回填、新旧结构的双写切换——数据迁移是把「结构变更」从手术台搬到跑步机上的工程学。
后端技术 精选 · 原创 · 11-5 阅读 71·访客 71
AI 基础设施创业的新窗口:从 GPU 云到「数据的工业化」
模型层被巨头锁死、应用层卷成红海,但 AI 基础设施层(Infra)的创业窗口反而变宽了:GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。
行业动态 精选 · 原创 · 11-5 阅读 54·访客 54
机器人学习的数据瓶颈:从 Open X-Embodiment 到遥操作数据工厂
大语言模型吃的是万亿 token 网络文本,机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进,算一算遥操作采集的成本账,并分析人类视频、仿真与生成式合成三条补充路线。
研究前沿 精选 · 原创 · 10-7 阅读 464·访客 461
实体身份治理:主数据、消歧与本体边界
两条记录相似,不代表它们描述同一实体;主数据中的“黄金记录”也不是现实本身。本文区分来源记录、业务实体与标识符,拆解消歧中的误合并成本,并说明何时能写下本体身份等同、何时应保留待审链接。
行业动态 精选 · 原创 · 2天前 阅读 9·访客 9
AI 数据标注产业:从众包工地到 RLHF 数据工厂
数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代:众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了:比的不是便宜,是「谁身边坐着的博士多」。
行业动态 精选 · 原创 · 11-5 阅读 65·访客 64
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 59·访客 59
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术 精选 · 原创 · 10-24 阅读 111·访客 109
一篇读懂 BM25:向量检索时代为什么还离不开这个 1994 年的公式
BM25 是 Lucene/Elasticsearch 的默认相关性算法,也是 2026 年混合检索的标配一半:IDF 加权、词频饱和、文档长度归一,三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b,并说清它和向量检索各管哪一半。
一叶一世界 精选 · 原创 · 10-7 阅读 816·访客 808
数据中心网络与光模块:AI 集群的带宽账
大模型训练把数据中心流量翻成东西向,网络变成第一等约束:Fat-Tree 与 Rail 优化重构拓扑,光模块从 400G 冲向 1.6T,中国厂商吃下全球大半份额,CPO 在远处排队。本篇算清 AI 集群的带宽账与光模块产业的真实格局。
行业动态 精选 · 原创 · 11-10 阅读 50·访客 50