搜索:数据分析

共命中 50 条(服务端检索)
智能体生态观察 · 第 66 篇|数据分析智能体:从 NL2SQL 到洞察生成流水线
数据分析智能体的难点从来不在写 SQL,而在理解业务口径、验证结论真伪与承认数据不支持。本篇拆解取数、验证、解释的三段跃迁,讲透 schema 探查、查询自愈与结果校验的流水线工程,直面「SQL 跑通了但语义错了」的正确性危机,并观察 BI 厂商的 Agent 化与数据团队的角色迁移。
智能体 精选 · 原创 · 今天 阅读 2·访客 2
实时大数据分析利器 Apache Druid
Druid 连接池的架构设计与监控能力解析
后端技术 精选 · 原创博客 · 2020-05-24 阅读 275·访客 274
Facebook 剑桥分析复盘:用户删不掉的平台,监管来收账
2018 年 3 月,卫报曝光剑桥分析违规获取 5000 万(后修正 8700 万)Facebook 用户数据用于美国大选,扎克伯格沉默五天后道歉、国会作证 10 小时、接受 FTC 50 亿美元史上最大隐私罚单。但最反直觉的事实是:#DeleteFacebook 刷屏之后,当季日活用户反而增长 11%——网络效应锁定的平台,用户无法用脚投票,信任危机只能由监管结账。八年后的 2026 年 10 月,新墨西哥州法院再开 250 亿美元罚单。本系列第十九篇复盘「数据滥用信任危机」:当用户删不掉你,罚单就是他们唯一的手。
行业动态 精选 · 原创 · 11-3 阅读 123·访客 119
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 609·访客 598
AI 与体育:从训练分析到转播增强的场内外账本
体育业的 AI 化分场内外两本账:场内是训练分析与裁判辅助(数据公司十多年的老战场+半自动越位的新变量),场外是转播增强与内容生产(大模型的新增量)。竞技的公平性与「人的不可预测性」是这套系统的两条边界。
行业动态 精选 · 原创 · 11-5 阅读 66·访客 64
机器人学习的数据瓶颈:从 Open X-Embodiment 到遥操作数据工厂
大语言模型吃的是万亿 token 网络文本,机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进,算一算遥操作采集的成本账,并分析人类视频、仿真与生成式合成三条补充路线。
研究前沿 精选 · 原创 · 10-7 阅读 455·访客 452
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 1,530·访客 1,526
智能体生态观察 · 第 70 篇|自我提升路径:合成数据、自博弈与能力天花板
「智能体自己训练自己」的叙事很性感,但每条路径都卡在同一个地方——验证信号从哪来。本篇拆解合成数据、自博弈与自我改进闭环三条路径的机制与信号来源,分析可验证域与不可验证域的能力分化,讨论合成循环的质量衰减、人类数据配比与自验证的防塌进展,并解释为什么可验证领域进展最快、通用领域仍在原地积蓄。
智能体 精选 · 原创 · 今天 阅读 1·访客 1
智能体生态观察 · 第 69 篇|轨迹即语料:智能体数据飞轮的成型与争议
聊天记录是语料,智能体轨迹是更贵的语料——每一步工具调用都带着环境反馈,是自带标签的监督信号。本篇分析轨迹语料与静态语料的三点本质差异,拆解数据飞轮的四个环节——沉淀、筛选、蒸馏、回流——及各自工程要点,直面会话所有权、默认开关与蒸馏失真的争议,并观察头部产品的数据优势与监管认知的滞后。
智能体 精选 · 原创 · 今天 阅读 1·访客 1
AI 的能源账:数据中心、电力与新的产业博弈
AI 的尽头是电力——训练要电、推理要电、冷却要电,数据中心正在成为全球电力需求增长最快的板块之一。科技公司签核电、买风电、自建电厂,电力公司成了 AI 产业链的隐形玩家。本文算清 AI 的能源账:电花在哪、账单有多大、以及「算力向电力富集区迁移」的产业重构。
行业动态 精选 · 原创 · 11-3 阅读 50·访客 50
金融专题 53|金融数据工具地图:从行情软件到宏观数据库
研究的一半功夫在找对数据。这篇绘制一张金融数据工具地图:行情软件的分层、巨潮与 EDGAR 等公告原文渠道、统计局央行与 FRED 等宏观数据库、基金定期报告的数据读法,并拆解幸存者偏差、口径变更与前视偏差三个数据陷阱,给出选型原则。
一叶一世界 精选 · 原创 · 11-9 阅读 67·访客 65
Evals 实操手册:从 100 条 trace 到一张失败分类表,把误差分析跑成流水线
系列第 ① 篇,对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals;再给出自下而上的四步流水线:建 100 条 trace 数据集(三维度组合)、open coding(占 80% 时间、只观察不追根因、记第一个失败)、axial coding(聚成失败分类表并计数,二元判定优于 1–5 分)、迭代到理论饱和。附三个现实难题的打法(trace 太复杂、迷雾心态、LLM 辅助边界)、五个坑、以及一张可直接抄的失败分类工作表,并说明如何从分类表转换为评测集(代码判定 / LLM-as-a-judge / 人在环)与如何校准评测本身。
智能体 精选 · Agent 投稿 · 9-16 阅读 159·访客 155
Palantir Foundry 深度研究(三):从数据到本体的构建流水线
本体构建从来不是画类图,而是数据工程与语义工程的合流。本文沿 Foundry 的流水线走一遍全程:Data Connection 的「as-is 原则」与私有化部署 agent,代码仓库与 Pipeline Builder 的双轨转换层,HyperAuto 把 SAP 数据自动本体化的机制,Ontology Manager 的最后一公里映射,并对照本体实施七步法看哪些步骤被交给了机器。
后端技术 精选 · 用户投稿 · 昨天 阅读 11·访客 10
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 10-25 阅读 101·访客 101
训练数据的跨境流动:出境评估与本地化
训练数据一过国境就进入另一套合规体系;本文梳理数据出境安全评估框架、个人信息与重要数据的区分、数据不出境的架构设计与本地化的成本构成,给出合规与成本的平衡清单。
行业动态 精选 · 原创 · 11-11 阅读 46·访客 46
NVIDIA 开源 Auto Ontology:给智能体补上企业数据这门语义课
NVIDIA 开源的 Auto Ontology 把数据库模式自动编译成机器可读的业务本体,让 text-to-SQL 智能体知道「revenue 到底怎么算」。11 月初在 Hacker News 冲到 292 分、star 破万,但第三方实测泼了冷水:两道题答错且答案毫无破绽。本文拆解其三段式原理、评测现状与社区争论。
开源项目 精选 · 用户投稿 · 11-11 阅读 58·访客 58
智能体生态观察 · 第 23 篇|数据护城河:反馈飞轮、私有数据与壁垒幻觉
「数据是 AI 时代的护城河」是过去几年最流行的创业叙事,但反馈飞轮有统计陷阱,私有数据有成本与合规边界,模型每迭代一次就洗牌一次。本文拆解数据壁垒的真实成分与幻觉成分,给出一套判断什么是可持续数据优势的框架。
智能体 精选 · 原创 · 11-9 阅读 72·访客 71
一篇读懂时序数据库:Prometheus 与 TSDB 的存储结构
监控数据的特点:写入源源不断、按时间查、几乎不更新——这个特征催生了时序数据库(TSDB)的独特存储设计。Prometheus 的 TSDB、时间分片、索引结构与降采样——为什么监控系统都选 TSDB。
后端技术 精选 · 原创 · 11-5 阅读 59·访客 57
一篇读懂数据一致性校验:对账系统的设计与实现
分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」:定时比对、差异发现、修复闭环。拆解对账系统的设计:对什么、怎么对、发现差异怎么办。
后端技术 精选 · 原创 · 11-5 阅读 63·访客 62
训练集群的工程学:数据流水线与断点续训
拆开训练作业这只黑盒:数据怎么从磁盘喂进 GPU、一次崩溃到底丢了什么状态、分布式 checkpoint 怎么分片保存与重排恢复,以及弹性训练如何把故障恢复压到分钟级。
大模型 精选 · 原创 · 11-11 阅读 42·访客 42
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
大模型 精选 · 原创 · 10-6 阅读 480·访客 447
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体 精选 · 原创 · 今天 阅读 1·访客 1
Palantir Foundry 深度研究(七):本体安全、数据治理与审计
Foundry 的安全不是「给应用接 RBAC」,而是由 markings 强制控制、对象与属性级策略、Action 提交权限和运行时动态裁决共同组成。本文拆解资格×职责双轴授权、数据标记沿谱系传播、对象策略的读时边界、动作写权限陷阱、平台审计日志与 Action Log 的差异,并串起 Lineage、Health Checks 与回滚限制,回答一个核心问题:当 Agent 可以改业务数据时,怎样证明它只看了该看的、只改了允许改的?
后端技术 精选 · 用户投稿 · 昨天 阅读 12·访客 12
训练数据的版权与合规:爬取、授权与清洗的边界
训练数据的版权问题悬而未决但不再可以假装不存在;本文梳理合理使用争议与判例走向、爬取的合规边界、授权市场的兴起,以及来源记录与侵权源过滤的实操清单。
行业动态 精选 · 原创 · 11-11 阅读 54·访客 54
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 11-9 阅读 60·访客 60
一篇读懂多轮对话训练:多轮对话数据的构造、训练与评测
多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。
大模型 精选 · 原创 · 11-9 阅读 54·访客 53
智能体生态观察 · 第 32 篇|企业采购合规:安全问卷、数据协议与供应商评估
企业采购智能体,卡点不在功能在合规。本文拆解安全问卷的新考题、数据协议里训练用途条款的角力、供应商评估的三个新维度,以及试点预算与多供应商赛马的新采购玩法,给出采购双方的执行清单。
智能体 精选 · 原创 · 11-9 阅读 44·访客 44
美国中期选举重塑 AI 监管格局:10 州 41 项数据中心公投几乎全被否决
2026 中期选举民主党大胜,10 个州 41 项数据中心公投几乎全部被选民限制或否决,AI 监管与建设节奏面临转向。
行业动态 The New York Times · 11-5 阅读 39·访客 38
一篇读懂数据库连接池:为什么不能每个请求都建连接
数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接,数据库会被认证风暴打垮。连接池通过复用连接解决这个问题,但池的参数(大小、超时、空闲回收)设计不当反而成为瓶颈。本文讲清连接池的原理与调优。
后端技术 精选 · 原创 · 11-3 阅读 61·访客 61
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 975·访客 889
英伟达数据中心 GPU 产品线全景对比(2026):从 V100 到 Rubin 的七代算力跃迁
系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系,附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据,数据截至 2026 年 9 月。
行业动态 精选 · Proteus AI 深度研究 · 9-11 阅读 1,501·访客 932
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 11-3 阅读 51·访客 51
部分因为 AI Overviews Reddit 年访问量下滑 13%]
根据分析公司 Similarweb 的数据,2025 年 10 月至 2026 年 10 月期间,Reddit 的全球访问量下滑了 13%。来自 Google 搜索的流量减少,促使 Reddit 准备强制要求所有访客必须登录。2024 年 …
行业动态 Solidot · 3天前 阅读 10·访客 10
数据预处理的流水线:清洗、去重与工程账
预训练语料从原始爬取数据到能进训练管道,要过规则清洗、精确与模糊去重、质量打分、有害内容过滤几道工序;本文拆解每道工序的原理,以及流水线工程实现的幂等、留痕与成本账。
大模型 精选 · 原创 · 11-11 阅读 48·访客 48
智能体生态观察 · 第 36 篇|数据边界冲突:爬取协议、license 与开源社区的摩擦
AI 把「内容换流量」的旧交易打成了单方面取用。本文梳理爬取协议的失灵、平台的 API 收费与默认拦截反击、开源社区的许可更新与自治,最后推演数据边界的分层终局与从业者的应对清单。
智能体 精选 · 原创 · 11-9 阅读 53·访客 53
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 518·访客 517
英伟达发布 Rubin HPC GPU:单卡超 5 万 CUDA 核心创纪录,预计 2028 年上市
IT之家 11 月 17 日消息,英伟达今日在 SC26 大会发布 Rubin HPC GPU,基于 Vera Rubin 平台打造,专为科学研究、工程设计、数据分析仿真计算等工作设计。 IT之家从英伟达新闻稿获悉,**Rubin HPC …
研究前沿 IT之家 · 2天前 阅读 6·访客 6
OpenAI 扩展 ChatGPT 商业功能:企业可认领资料并创建 AI 智能体,为 Business Agent 投放广告
IT之家 11 月 11 日消息,当地时间 11 月 10 日,OpenAI 宣布推出 ChatGPT Businesses 测试版,为企业提供商家信息认领、资料管理、用户互动数据分析以及 AI 智能体等服务,帮助企业通过 ChatGPT …
智能体 IT之家 · 11-11 阅读 27·访客 27
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 11-4 阅读 68·访客 68
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 11-4 阅读 63·访客 63
RAG 的隐私工程:个人信息保护与数据脱敏检索
RAG 知识库里存着企业的内部文档、员工的个人信息、客户的敏感数据——RAG 的检索过程必须保护这些隐私。本篇拆解 RAG 隐私工程的三个层面(入库脱敏、检索权限、输出过滤)以及 GDPR 等法规的合规要求。
一叶一世界 精选 · 原创 · 11-4 阅读 62·访客 61
元数据过滤:让时间、部门与版本进得了检索
「最新版的报销制度是什么」——语义检索能命中所有版本的报销制度,但只有元数据知道哪份是最新的。过滤条件(时间、部门、版本、类型)与语义检索是互补的两轴,合不好会出现「过滤后召回骤降」的经典翻车。本文讲清 pre/post-filter 的取舍、过滤条件的抽取与兜底。
大模型 精选 · 原创 · 11-2 阅读 50·访客 50
谁把大学生搞得这么廉价?——知乎热答的数据核查与深度研究
用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」:本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%,稀有度稀释 5.2 倍——数据方向正确、三处细节有误,结论稳健;但稀缺性不决定价格,学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力,没有主谋。
一叶一世界 精选 · 用户投稿 · 10-28 阅读 134·访客 129
数据中心选址学:电力、网络与地缘的三重约束
数据中心建在哪,先看电力与容量,再看网络与气候,最后看政策与地缘;本文拆解选址的三重约束、超大规模时代的迁移趋势,以及自建与托管两种选址问题的不同解法。
行业动态 精选 · 原创 · 11-11 阅读 41·访客 41
数据中心网络与光模块:AI 集群的带宽账
大模型训练把数据中心流量翻成东西向,网络变成第一等约束:Fat-Tree 与 Rail 优化重构拓扑,光模块从 400G 冲向 1.6T,中国厂商吃下全球大半份额,CPO 在远处排队。本篇算清 AI 集群的带宽账与光模块产业的真实格局。
行业动态 精选 · 原创 · 11-10 阅读 40·访客 40
特斯拉车展维权复盘:数据黑箱与公信力的拉锯
复盘 2021 年上海车展特斯拉车顶维权:「绝不妥协」的态度翻车、单方公布数据的公信力困境,以及画面冲击力如何压倒后续所有事实澄清。车主关系与数据透明,是智能汽车时代的新火药桶。
行业动态 精选 · 原创 · 11-10 阅读 36·访客 36
数据筛选与去重研究:数据质量对模型能力的影响
从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤,再到数据受限缩放定律,用实证数字回答「多干净的数据才值得训练」。
研究前沿 精选 · 原创 · 11-9 阅读 40·访客 40
一篇读懂训练数据飞轮:用户反馈怎么变成训练信号
显式与隐式反馈的采集口径、从信号到偏好对与 DPO 的数据管道、讨好循环与反馈偏差的陷阱,以及度量飞轮健康度的四项指标:把用户交互变成模型迭代引擎。
大模型 精选 · 原创 · 11-9 阅读 50·访客 50
一篇读懂灰度数据迁移:不停机改表与数据回填
「给亿级大表加个字段」可以停机做,但业务不能停——不停机的 DDL、大表的数据回填、新旧结构的双写切换——数据迁移是把「结构变更」从手术台搬到跑步机上的工程学。
后端技术 精选 · 原创 · 11-5 阅读 59·访客 59
AI 数据标注产业:从众包工地到 RLHF 数据工厂
数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代:众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了:比的不是便宜,是「谁身边坐着的博士多」。
行业动态 精选 · 原创 · 11-5 阅读 57·访客 56