研究的一半功夫在找对数据。这篇绘制一张金融数据工具地图：行情软件的分层、巨潮与 EDGAR 等公告原文渠道、统计局央行与 FRED 等宏观数据库、基金定期报告的数据读法，并拆解幸存者偏差、口径变更与前视偏差三个数据陷阱，给出选型原则。

LIMA 用 1000 条精选数据就调出了能打的模型，「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比（防灾难性遗忘）、去重（MinHash 近重复）、合成（蒸馏优于自生成）、过滤（打分 + 多样性选择），给出可落地的迭代闭环。

数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代：众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了：比的不是便宜，是「谁身边坐着的博士多」。

预训练数据墙（本库已有专篇）逼出了另一条路：用模型生成数据来训练模型。合成数据从「禁忌」（模型吃了自己会退化）进化为「主流」（前沿实验室的数据配方里都有它）。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成，以及合成数据的边界与风险。

进程内 OLAP 数据库 DuckDB：一条 SQL 直接查本地 CSV、Parquet 与远端对象存储，单文件落库，PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事（v2.0 在路上、DuckLabs 并入 AWS），以及上手要点与真实短板。

大语言模型吃的是万亿 token 网络文本，机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进，算一算遥操作采集的成本账，并分析人类视频、仿真与生成式合成三条补充路线。

模型层被巨头锁死、应用层卷成红海，但 AI 基础设施层（Infra）的创业窗口反而变宽了：GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。

大模型只会输出文本，却能让你的程序查数据库、发邮件——靠的不是魔法，而是一段结构化的调用意图。本文拆解 Function Calling 的完整回合流程、模型学会调工具的原理，以及参数幻觉等常见坑。

从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤，再到数据受限缩放定律，用实证数字回答「多干净的数据才值得训练」。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

「给亿级大表加个字段」可以停机做，但业务不能停——不停机的 DDL、大表的数据回填、新旧结构的双写切换——数据迁移是把「结构变更」从手术台搬到跑步机上的工程学。

从 Toolformer 的自监督工具调用发现，到 ReAct、ToolLLM 与原生函数调用生态，再到 GAIA、tau-bench 暴露的长程执行鸿沟，梳理工具学习研究的完整脉络。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

MCP 生态的 server 数量爆炸之后，「怎么发现与信任好的 server」成了基础设施问题：注册中心、目录、分发与安全审计正在成形。本篇拆解工具发现层的构成（官方 registry、企业私有注册中心、包管理器的类比）、信任与安全的机制设计，以及这一层对 Agent 生态的意义。

Agent 表现的上限常常不在模型而在工具。本文总结七条工具设计原则——少而精、参数扁平化、描述写给模型看、返回值可行动、副作用显式化、幂等与超时、正交覆盖——多数配好坏对比小例，收尾落到把工具当 API 产品来做。

「数据是 AI 时代的护城河」是过去几年最流行的创业叙事，但反馈飞轮有统计陷阱，私有数据有成本与合规边界，模型每迭代一次就洗牌一次。本文拆解数据壁垒的真实成分与幻觉成分，给出一套判断什么是可持续数据优势的框架。

多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。

智能体大幅降低了服务细分场景的成本，长尾创业看似迎来了黄金时代，但工具公司陷阱步步惊心——做成了薄功能，就会被平台一个更新吞掉。本文给出长尾场景的三个判断标准、陷阱的识别信号与小市场深需求的盈利模型。

企业采购智能体，卡点不在功能在合规。本文拆解安全问卷的新考题、数据协议里训练用途条款的角力、供应商评估的三个新维度，以及试点预算与多供应商赛马的新采购玩法，给出采购双方的执行清单。

AI 安全的工具生态正在开源社区快速成形：NVIDIA 的 Garak、微软的 PyRIT、Anthropic 的评测框架——红队工程师的瑞士军刀已经组装完毕。盘点主流工具的能力边界，以及「工具好找、用得好的很少」的现状。

分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」：定时比对、差异发现、修复闭环。拆解对账系统的设计：对什么、怎么对、发现差异怎么办。

企业最有价值的知识往往不在文档里，在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句，但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线：Schema 理解、SQL 生成、执行验证与错误恢复，以及它与向量 RAG 的本质差异。

Agent 的评测需要工具链：promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器，命令行批量跑，接进 CI。本篇拆解 Agent 评测工具链的构成（测试定义、断言类型、LLM-as-judge 的使用）、evals 进 CI 的工程模式，以及评测的「回归防线」怎么建。

企业最有价值的知识往往不在文档里，在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句，但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线：Schema 理解、SQL 生成、执行验证与错误恢复，以及它与向量 RAG 的本质差异。

向量数据库是 RAG 的地基，开源方案有四巨头：Qdrant 的 Rust 性能、Weaviate 的模块化、Milvus 的云原生规模化、Chroma 的极简开发体验。本篇从架构、性能、生态与运维四个维度深度对比，帮你选对地基。

数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接，数据库会被认证风暴打垮。连接池通过复用连接解决这个问题，但池的参数（大小、超时、空闲回收）设计不当反而成为瓶颈。本文讲清连接池的原理与调优。

「AI 编程是资深工程师专属」的知乎高赞论断，恰好可以拿一年来的硬数据逐条检验：METR 随机对照实验里资深开发者被 AI 拖慢 19% 且自认为快了 20%，Uplevel 追踪 800 名开发者发现缺陷率上升 41%，GitClear 遥测显示重构行为塌缩到 3.8%、遗留维护骤降 74%。本文梳理 2025–2026 年九项重量级研究，论证真正的门槛不是「会不会用工具」，而是验证 AI 输出的能力——它恰恰由经验构成。

智能体开发的工具链已经膨胀到令人迷失：几十个框架、一堆网关、各种观测面板。本篇给出一张五层版图——接入层、编排层、能力层、运维层、验证层——逐层说明每层的职责、代表物种与选型要点，并用「最小工具链」原则收束：工具是用来删的，不是用来攒的。

「最新版的报销制度是什么」——语义检索能命中所有版本的报销制度，但只有元数据知道哪份是最新的。过滤条件（时间、部门、版本、类型）与语义检索是互补的两轴，合不好会出现「过滤后召回骤降」的经典翻车。本文讲清 pre/post-filter 的取舍、过滤条件的抽取与兜底。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

每换一个 Agent 框架就要重写一遍工具接入？本文讲清 MCP 的三个核心原语与两种传输方式，带你用官方 SDK 写一个最小的 MCP Server，并覆盖客户端调用流程与上线前的安全清单。

Agent 工程系统学习第 5 章：工具是 Agent 的手脚。给出生产级工具设计五条纪律（描述即接口文档、错误给模型看、返回值尊重上下文预算、幂等与副作用分级、粗粒度优于细粒度），工具注册表与可见性/执行门禁分离，MCP 协议架构与三类能力，2026-07-28 版本无状态化等关键变化表，并给出可运行的 MCP Server 实现与 Client 侧职责。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

预训练 Scaling 撞上数据墙与算力墙：公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。

RAG 知识库里存着企业的内部文档、员工的个人信息、客户的敏感数据——RAG 的检索过程必须保护这些隐私。本篇拆解 RAG 隐私工程的三个层面（入库脱敏、检索权限、输出过滤）以及 GDPR 等法规的合规要求。

当知识源的变更频率从「周」变成「秒」，RAG 的索引链路必须重构为流式架构——CDC 采集、微批嵌入、幂等消费、读写一致性，一套完整的工程设计。

AI 把「内容换流量」的旧交易打成了单方面取用。本文梳理爬取协议的失灵、平台的 API 收费与默认拦截反击、开源社区的许可更新与自治，最后推演数据边界的分层终局与从业者的应对清单。

显式与隐式反馈的采集口径、从信号到偏好对与 DPO 的数据管道、讨好循环与反馈偏差的陷阱，以及度量飞轮健康度的四项指标：把用户交互变成模型迭代引擎。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

AI 编程工具经历了光标补全、对话式多文件编辑、自主 Coding Agent 三次跃迁。本文梳理每次跃迁的形态变化与背后「上下文工程」「工具调用」两个技术变量，并讨论工作流的改变与必须由人守住的边界。

Google 为 TeraWulf 约 190 亿美元的 Anthropic 肯塔基数据中心租赁提供信用背书，并同步签署 Fluor EPC 协议。

AI 数据中心的耗电是传统机房的三倍以上：一张 H100 要 700W，一个 10 万卡集群就是一座小城市的用电。本篇拆解数据中心电力的账本构成（IT 负载、PUE、供电链路）、冷却的技术路线（风冷到液冷）、以及「电力成为 AI 瓶颈」的产业含义。

模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」，就能往模型里「放行为」。数据投毒研究证明：在网络级语料中混入极小比例的恶意样本，就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。

AI 的尽头是电力——训练要电、推理要电、冷却要电，数据中心正在成为全球电力需求增长最快的板块之一。科技公司签核电、买风电、自建电厂，电力公司成了 AI 产业链的隐形玩家。本文算清 AI 的能源账：电花在哪、账单有多大、以及「算力向电力富集区迁移」的产业重构。

10 月 30 日，电科金仓在北京发布 AI 数据库产品，让大模型能够看懂企业私有数据。

用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」：本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%，稀有度稀释 5.2 倍——数据方向正确、三处细节有误，结论稳健；但稀缺性不决定价格，学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力，没有主谋。

开源办公套件 ONLYOFFICE 发布 10.0 秋季大版本，带来编辑器内上下文感知 AI 工具、模块化应用架构与更强的安全机制。

大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策，以及按输入-输出-日志-训练四段分别设防的思路。

RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。

系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系，附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据，数据截至 2026 年 9 月。