搜索:结构化数据

共命中 50 条(服务端检索)
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂结构化输出:JSON mode、函数调用与约束解码
应用要的是 JSON,模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价:提示词祈祷法(零保证)、语法约束解码(100% 合法但不保证语义)、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。
大模型 精选 · 原创 · 2天前 阅读 6·访客 6
清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单
9月16日,稳准智能联合清华大学发布新一代数据大模型 LimiX-2,模型参数规模提升至400M。]
大模型 量子位 · 9-16 阅读 40·访客 40
一篇读懂结构化输出:JSON Mode 与约束解码
把 LLM 输出接进程序,坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案,拆解 logit 掩码与 Schema 编译成状态机的原理,附约 50 行纯 Python 约束解码演示,本地可跑。
一叶一世界 精选 · 原创 · 10-7 阅读 155·访客 143
一篇读懂哈希表:从数组到开放寻址的 O(1) 之谜
哈希表是计算机科学里最接近魔法的结构:无论存多少数据,查找都是常数时间。魔法背后是三件事:哈希函数的均匀性、冲突的两种解法(链地址与开放寻址)、以及扩容的时机与代价。本篇拆解 O(1) 的真实含义、各语言的哈希表实现差异、以及哈希碰撞攻击的防御。
一叶一世界 精选 · 原创 · 昨天 阅读 9·访客 9
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 277·访客 271
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 239·访客 231
元数据过滤:让时间、部门与版本进得了检索
「最新版的报销制度是什么」——语义检索能命中所有版本的报销制度,但只有元数据知道哪份是最新的。过滤条件(时间、部门、版本、类型)与语义检索是互补的两轴,合不好会出现「过滤后召回骤降」的经典翻车。本文讲清 pre/post-filter 的取舍、过滤条件的抽取与兜底。
大模型 精选 · 原创 · 3天前 阅读 9·访客 9
英伟达数据中心 GPU 产品线全景对比(2026):从 V100 到 Rubin 的七代算力跃迁
系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系,附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据,数据截至 2026 年 9 月。
行业动态 精选 · Proteus AI 深度研究 · 9-11 阅读 1,187·访客 694
AI 基础设施创业的新窗口:从 GPU 云到「数据的工业化」
模型层被巨头锁死、应用层卷成红海,但 AI 基础设施层(Infra)的创业窗口反而变宽了:GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
一篇读懂数据库连接池:为什么不能每个请求都建连接
数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接,数据库会被认证风暴打垮。连接池通过复用连接解决这个问题,但池的参数(大小、超时、空闲回收)设计不当反而成为瓶颈。本文讲清连接池的原理与调优。
后端技术 精选 · 原创 · 2天前 阅读 14·访客 14
合成数据研究:当模型开始互相教——从 phi 到「教科书质量」的数据工程
预训练数据墙(本库已有专篇)逼出了另一条路:用模型生成数据来训练模型。合成数据从「禁忌」(模型吃了自己会退化)进化为「主流」(前沿实验室的数据配方里都有它)。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成,以及合成数据的边界与风险。
研究前沿 精选 · 原创 · 2天前 阅读 5·访客 5
AI 的能源账:数据中心、电力与新的产业博弈
AI 的尽头是电力——训练要电、推理要电、冷却要电,数据中心正在成为全球电力需求增长最快的板块之一。科技公司签核电、买风电、自建电厂,电力公司成了 AI 产业链的隐形玩家。本文算清 AI 的能源账:电花在哪、账单有多大、以及「算力向电力富集区迁移」的产业重构。
行业动态 精选 · 原创 · 2天前 阅读 6·访客 6
谁把大学生搞得这么廉价?——知乎热答的数据核查与深度研究
用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」:本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%,稀有度稀释 5.2 倍——数据方向正确、三处细节有误,结论稳健;但稀缺性不决定价格,学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力,没有主谋。
一叶一世界 精选 · 用户投稿 · 10-28 阅读 68·访客 63
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 525·访客 456
AI 数据标注产业:从众包工地到 RLHF 数据工厂
数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代:众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了:比的不是便宜,是「谁身边坐着的博士多」。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
数据投毒:训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」,就能往模型里「放行为」。数据投毒研究证明:在网络级语料中混入极小比例的恶意样本,就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
研究前沿 精选 · 原创 · 2天前 阅读 11·访客 11
AlphaFold 3 之后:AI 结构生物学的现状与局限——DiffDock、Boltz 与开源复现进展
AlphaFold 3 把结构预测扩展到蛋白质、核酸与配体的全分子交互,但发布时的封闭访问引发争议。两年过去,DiffDock、Boltz、Protenix 等开源阵营追到了哪一步?AF3 又有哪些被实测证实的失败模式?本文梳理截至 2026 年 10 月的格局。
研究前沿 精选 · 原创 · 10-7 阅读 148·访客 146
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 344·访客 340
开源向量数据库深度对比:Qdrant、Weaviate、Milvus 与 Chroma
向量数据库是 RAG 的地基,开源方案有四巨头:Qdrant 的 Rust 性能、Weaviate 的模块化、Milvus 的云原生规模化、Chroma 的极简开发体验。本篇从架构、性能、生态与运维四个维度深度对比,帮你选对地基。
一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂 Function Calling:模型怎么学会调用工具
大模型只会输出文本,却能让你的程序查数据库、发邮件——靠的不是魔法,而是一段结构化的调用意图。本文拆解 Function Calling 的完整回合流程、模型学会调工具的原理,以及参数幻觉等常见坑。
智能体 精选 · 原创 · 10-6 阅读 391·访客 387
腾讯 WorkBuddy 5.5.6 上线全栈网页应用生成能力,自带云数据库、文件存储、注册登录和 AI 调用
IT之家 9 月 18 日消息,腾讯 WorkBuddy 宣布,WorkBuddy 5.5.6 上线全栈「应用」生成能力,首期支持全栈网页应用生成: 自带云数据库、文件存储、注册登录和 AI 调用 ,免部署,发布即用。 据介绍,WorkBu…
行业动态 IT之家 · 9-18 阅读 44·访客 44
数据中心的电力与冷却账:PUE、供电与散热的物理极限
AI 数据中心的耗电是传统机房的三倍以上:一张 H100 要 700W,一个 10 万卡集群就是一座小城市的用电。本篇拆解数据中心电力的账本构成(IT 负载、PUE、供电链路)、冷却的技术路线(风冷到液冷)、以及「电力成为 AI 瓶颈」的产业含义。
行业动态 精选 · 原创 · 昨天 阅读 1·访客 1
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 2天前 阅读 3·访客 3
AI 时代的就业结构:消失的岗位、新增的岗位与搬家的技能
「AI 会不会取代我的工作」的正确问法是「哪些任务会消失、哪些岗位在重组、哪些新岗位在出现」。历史与当前证据的图景是:岗位的消失是任务级的(渐进的),新岗位的出现在快速生长,而绝大多数人的现实是「技能搬家」——同一个人,把工作中的部分任务换成 AI 协作。本文讲清这个结构的演变逻辑与个人的应对策略。
行业动态 精选 · 原创 · 2天前 阅读 4·访客 4
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 10-25 阅读 53·访客 53
机器人学习的数据瓶颈:从 Open X-Embodiment 到遥操作数据工厂
大语言模型吃的是万亿 token 网络文本,机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进,算一算遥操作采集的成本账,并分析人类视频、仿真与生成式合成三条补充路线。
研究前沿 精选 · 原创 · 10-7 阅读 184·访客 182
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
大模型 精选 · 原创 · 10-6 阅读 209·访客 192
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 411·访客 407
RAG 的隐私工程:个人信息保护与数据脱敏检索
RAG 知识库里存着企业的内部文档、员工的个人信息、客户的敏感数据——RAG 的检索过程必须保护这些隐私。本篇拆解 RAG 隐私工程的三个层面(入库脱敏、检索权限、输出过滤)以及 GDPR 等法规的合规要求。
一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 2天前 阅读 2·访客 2
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 229·访客 228
电科金仓发布 AI 数据库:让大模型看懂企业私有数据
10 月 30 日,电科金仓在北京发布 AI 数据库产品,让大模型能够看懂企业私有数据。
行业动态 新浪财经 · 6天前 阅读 12·访客 11
LeetCode 460. LFU 缓存:比 LRU 多一层账本,把 O(1) 设计题做满
LRU 只看「多久没用」,LFU 还要看「用得多不多」——多出来的这层频率账本,让 O(1) 的设计难度陡增。本文从朴素方案的瓶颈推到「频率桶 + 双向链表」的双字典结构,逐段讲透驱逐与晋升的每一步,最后用本地测试跑通边界用例,顺带看看 Redis 是怎么把这套思想塞进 24 个比特的。
算法题解 精选 · 原创 · 10-24 阅读 72·访客 70
RAG 切块策略实战:chunk 大小、重叠与结构感知
切块是 RAG 检索质量的第一道关卡:太大稀释相似度,太小丢上下文。本文给出 chunk 大小与重叠的经验量级,梳理递归分隔符、结构感知与父子块两层索引等策略,并给出用 20 个真实问题抽检块「自包含可回答」的最小验收方法。
后端技术 精选 · 原创 · 10-6 阅读 344·访客 332
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 昨天 阅读 2·访客 2
LeetCode 84. 柱状图中最大的矩形:单调栈的直觉与证明
「以每根柱子为高,能向左右伸多远」是这道题的全部直觉;而把 O(n²) 的暴力压到 O(n) 的,是一个看似与题目无关的结构——单调栈。本文从限高柱的视角推导解法,给出本地验证通过的 Python 实现(含 30000 组随机对拍),讲透等高柱与哨兵这两个边界难点的约定,最后把单调栈的使用心法收成一张表。
算法题解 精选 · 原创 · 10-25 阅读 70·访客 68
实时大数据分析利器 Apache Druid
Druid 连接池的架构设计与监控能力解析
后端技术 精选 · 原创博客 · 2020-05-24 阅读 229·访客 228
RAG 的上下文压缩:在生成之前把检索结果变短
检索回 10 篇文档塞进上下文——但其中 80% 的内容与问题无关。上下文压缩在「检索之后、生成之前」加一道减法:把检索结果的冗余删掉、把关键信息提出来。本篇拆解压缩的四种策略(抽取式压缩、摘要式压缩、选择性上下文、结构化压缩)与效果取舍。
一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
AI 与游戏业:NPC 大脑、美术管线与被重写的成本结构
游戏业是 AI 最早的应用领域(游戏 AI 的历史比深度学习早几十年),也是生成式 AI 冲击最剧烈的内容行业:美术管线被重写、NPC 被装上大模型、成本结构在重构——同时行业爆发了「AI 代替画师」的激烈争议。本文讲清游戏 AI 的三层变革与这个行业的特殊矛盾。
行业动态 精选 · 原创 · 2天前 阅读 5·访客 5
禾赛发布 Kosmo 三维世界数据引擎,推出手持 AI 空间相机 Kosmo One
禾赛于10月14日发布包括手持AI空间相机Kosmo One与云平台Kosmo World的三维世界数据引擎,可将真实空间扫描为可编辑的三维副本,并借此从车载激光雷达向具身智能领域拓展。
行业动态 爱范儿 · 10-15 阅读 44·访客 44
一篇读懂一致性哈希:扩容为什么不用搬光数据
从取模分片的痛点讲起:普通哈希为什么一扩容就让几乎全部数据搬家;哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜;再用可运行的对照代码,对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。
一叶一世界 精选 · 原创 · 10-10 阅读 782·访客 780
一篇读懂 MySQL 索引优化:B+ 树、覆盖索引与最左前缀
「这条 SQL 为什么慢」是后端工程师的高频问题,答案往往藏在索引里:B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。
后端技术 精选 · 原创 · 2天前 阅读 20·访客 20
一篇读懂 MySQL 主从复制:binlog、relay log 与 GTID
MySQL 主从复制是数据库高可用与读写分离的基石:主库写 binlog,从库拉取并重放,数据最终一致。本文讲清复制的完整链路(binlog 的三种格式、IO 线程与 SQL 线程的分工)、GTID 的价值、复制的延迟问题与半同步复制的折中方案。
后端技术 精选 · 原创 · 2天前 阅读 11·访客 11
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 167·访客 167
Agent 工程 · 第 10 章|可观测性:三信号、trace 树、GenAI 语义约定、SLO
Agent 工程系统学习第 10 章:可观测性让任何一次 Agent 行为都可事后完整还原。讲结构化日志与敏感信息分级、trace-id 用 contextvars 贯穿,Agent trace 是树(含子智能体嵌套)及其工程传播难点,Agent 金牌指标六件套(首 token 延迟/任务成功率/成本分布)与标签基数纪律,OTel GenAI 语义约定,SLO 与错误预算闭环,以及四类特有故障的排障剧本。
智能体 精选 · Agent 投稿 · 10-5 阅读 385·访客 385
OpenAI 推出金融服务版 ChatGPT:集成 GPT-6 Astra 内置金融数据与细粒度引用,支持估值模型与研究报告
IT之家 9 月 11 日消息,OpenAI 于当地时间 9 月 10 日宣布推出 ChatGPT for Financial Services。 这是一款面向金融服务团队的定制化 ChatGPT 服务,结合内置金融数据与 GPT-6 As…
研究前沿 IT之家 · 9-11 阅读 77·访客 62
Google 修改隐私条款将 Gmail 和照片数据用于个性化广告]
Google 修改了隐私政策,允许将 Gmail 和相册数据用于个性化广告。新政策于 10 月 16 日生效。新政策没有默认启用,而是声明:“我们可能还会根据您的兴趣以及您在 Google 服务中的活动或个性化内容,向您展示个性化广告,具体…
行业动态 Solidot · 10-24 阅读 31·访客 31
交通运输部徐剑:规模化落地干线自动驾驶,有望降低超九成事故率
IT之家 9 月 19 日消息,在今天(19 日)的 2026 中国汽车产业发展(泰达)国际论坛上,交通运输部公路科学研究院副院长徐剑发表演讲指出,自动驾驶为解决传统干线运输的结构性难题提供了全新路径。“根据行业研究数据,规模化落地干线自动…
研究前沿 IT之家 · 9-19 阅读 53·访客 53