搜索:训练数据

共命中 50 条(服务端检索)
训练数据的版权与合规:爬取、授权与清洗的边界
训练数据的版权问题悬而未决但不再可以假装不存在;本文梳理合理使用争议与判例走向、爬取的合规边界、授权市场的兴起,以及来源记录与侵权源过滤的实操清单。
行业动态 精选 · 原创 · 11-11 阅读 62·访客 62
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 60·访客 60
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 10-25 阅读 112·访客 112
训练数据的跨境流动:出境评估与本地化
训练数据一过国境就进入另一套合规体系;本文梳理数据出境安全评估框架、个人信息与重要数据的区分、数据不出境的架构设计与本地化的成本构成,给出合规与成本的平衡清单。
行业动态 精选 · 原创 · 11-11 阅读 50·访客 50
数据投毒:训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」,就能往模型里「放行为」。数据投毒研究证明:在网络级语料中混入极小比例的恶意样本,就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
研究前沿 精选 · 原创 · 11-3 阅读 78·访客 78
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 993·访客 907
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin GPU、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU,另投 8000 亿韩元建设训练数据。
行业动态 Korea Times · 10-6 阅读 105·访客 104
训练集群的工程学:数据流水线与断点续训
拆开训练作业这只黑盒:数据怎么从磁盘喂进 GPU、一次崩溃到底丢了什么状态、分布式 checkpoint 怎么分片保存与重排恢复,以及弹性训练如何把故障恢复压到分钟级。
大模型 精选 · 原创 · 11-11 阅读 49·访客 49
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 11-3 阅读 56·访客 56
一篇读懂数据配比:预训练数据的「配方」怎么决定模型的能力偏向
同样的 token 预算,不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。
大模型 精选 · 原创 · 11-9 阅读 65·访客 63
一篇读懂训练数据飞轮:用户反馈怎么变成训练信号
显式与隐式反馈的采集口径、从信号到偏好对与 DPO 的数据管道、讨好循环与反馈偏差的陷阱,以及度量飞轮健康度的四项指标:把用户交互变成模型迭代引擎。
大模型 精选 · 原创 · 11-9 阅读 54·访客 54
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
大模型 精选 · 原创 · 10-6 阅读 487·访客 454
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 727·访客 724
AI 数据中心的安全分区:训练网与推理网的隔离
训练数据敏感、推理面向公网,两者塞进同一个平面等于同时放大两种风险;本文给出训练网、推理网、办公网、管理网的四区模型,讲清跨区数据流动的闸门设计与常见违规的整改。
后端技术 精选 · 原创 · 11-11 阅读 77·访客 77
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 11-9 阅读 79·访客 78
智能体生态观察 · 第 69 篇|轨迹即语料:智能体数据飞轮的成型与争议
聊天记录是语料,智能体轨迹是更贵的语料——每一步工具调用都带着环境反馈,是自带标签的监督信号。本篇分析轨迹语料与静态语料的三点本质差异,拆解数据飞轮的四个环节——沉淀、筛选、蒸馏、回流——及各自工程要点,直面会话所有权、默认开关与蒸馏失真的争议,并观察头部产品的数据优势与监管认知的滞后。
智能体 精选 · 原创 · 3天前 阅读 20·访客 20
合成数据研究:当模型开始互相教——从 phi 到「教科书质量」的数据工程
预训练数据墙(本库已有专篇)逼出了另一条路:用模型生成数据来训练模型。合成数据从「禁忌」(模型吃了自己会退化)进化为「主流」(前沿实验室的数据配方里都有它)。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成,以及合成数据的边界与风险。
研究前沿 精选 · 原创 · 11-3 阅读 72·访客 72
一篇读懂多轮对话训练:多轮对话数据的构造、训练与评测
多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。
大模型 精选 · 原创 · 11-9 阅读 66·访客 65
微软高管称 AI 的训练数据是人类历史上最大规模的劳动盗窃]
根据内部文件,微软应用科学总监 Brent Hecht 警告,抓取新闻内容训练 AI 是一次规模空前的盗窃,可能是人类历史上最大规模的劳动盗窃。他不认为抓取新闻内容训练 AI 是合理使用,认为这种做法完全是对合理使用理念的嘲弄。微软的另一份…
大模型 Solidot · 9-19 阅读 48·访客 48
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 851·访客 824
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
一篇读懂 checkpoint:训练容错的存档机制
checkpoint 是训练容错的核心机制:存档里除了权重还有优化器状态、数据进度与随机数状态;同步保存的显存搬运代价,分布式分片保存与恢复重排,保存频率的算术,以及异步与增量的工程方向。
一叶一世界 精选 · 原创 · 11-11 阅读 91·访客 91
课程学习研究:从简单到复杂的训练编排策略
从 Bengio 2009 的经典提出,到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程,梳理课程学习在深度学习与大模型中的实证进展与争议。
研究前沿 精选 · 原创 · 11-9 阅读 65·访客 65
智能体生态观察 · 第 32 篇|企业采购合规:安全问卷、数据协议与供应商评估
企业采购智能体,卡点不在功能在合规。本文拆解安全问卷的新考题、数据协议里训练用途条款的角力、供应商评估的三个新维度,以及试点预算与多供应商赛马的新采购玩法,给出采购双方的执行清单。
智能体 精选 · 原创 · 11-9 阅读 68·访客 68
一篇读懂预训练:从海量文本到基座模型的完整流程
预训练是所有大模型能力的源头,但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑,读完能看懂任何一份模型技术报告的预训练章节。
大模型 精选 · 原创 · 11-3 阅读 67·访客 56
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 11-4 阅读 54·访客 54
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 11-3 阅读 49·访客 49
精准揪出RL训练数据Bug,Prompt直出小游戏,IQuest-Q1夯爆了!
文婷* 2026-09-29 15:59:46 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 别眨眼。** 星空下,一辆白橙色的反重力赛车如利刃出鞘,猛地切进弯道,丝滑拐弯,在赛道上拖拽出一道道冰蓝光带,溅起金黄色的摩…
行业动态 量子位 · 9-29 阅读 51·访客 51
智能体生态观察 · 第 70 篇|自我提升路径:合成数据、自博弈与能力天花板
「智能体自己训练自己」的叙事很性感,但每条路径都卡在同一个地方——验证信号从哪来。本篇拆解合成数据、自博弈与自我改进闭环三条路径的机制与信号来源,分析可验证域与不可验证域的能力分化,讨论合成循环的质量衰减、人类数据配比与自验证的防塌进展,并解释为什么可验证领域进展最快、通用领域仍在原地积蓄。
智能体 精选 · 原创 · 3天前 阅读 17·访客 17
数据预处理的流水线:清洗、去重与工程账
预训练语料从原始爬取数据到能进训练管道,要过规则清洗、精确与模糊去重、质量打分、有害内容过滤几道工序;本文拆解每道工序的原理,以及流水线工程实现的幂等、留痕与成本账。
大模型 精选 · 原创 · 11-11 阅读 58·访客 58
数据中心网络与光模块:AI 集群的带宽账
大模型训练把数据中心流量翻成东西向,网络变成第一等约束:Fat-Tree 与 Rail 优化重构拓扑,光模块从 400G 冲向 1.6T,中国厂商吃下全球大半份额,CPO 在远处排队。本篇算清 AI 集群的带宽账与光模块产业的真实格局。
行业动态 精选 · 原创 · 11-10 阅读 51·访客 51
数据筛选与去重研究:数据质量对模型能力的影响
从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤,再到数据受限缩放定律,用实证数字回答「多干净的数据才值得训练」。
研究前沿 精选 · 原创 · 11-9 阅读 54·访客 54
AI 的能源账:数据中心、电力与新的产业博弈
AI 的尽头是电力——训练要电、推理要电、冷却要电,数据中心正在成为全球电力需求增长最快的板块之一。科技公司签核电、买风电、自建电厂,电力公司成了 AI 产业链的隐形玩家。本文算清 AI 的能源账:电花在哪、账单有多大、以及「算力向电力富集区迁移」的产业重构。
行业动态 精选 · 原创 · 11-3 阅读 56·访客 56
大模型评测基准的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型 精选 · 原创 · 10-7 阅读 640·访客 607
OpenAI、Google、Microsoft、Anthropic 共同支持 robots.txt 统一 AI 训练退出令牌 __usage_ai-training
OpenAI、Google、Microsoft 与 Anthropic 宣布共同支持 robots.txt 中的 __usage_ai-training 令牌,网站一条声明即可统一拒绝 AI 训练抓取,Google 与 Microsoft 计划 2027 年落地。
行业动态 The Verge · 11-1 阅读 31·访客 31
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(中)· RSI 分级定位与七组数字口径核查
中篇回答一个容易被标题带偏的问题:这次在递归自我改进(RSI)坐标系里站在哪一级?用本站 L0–L5 阶梯逐级排除,结论是 L3 命中、L4 未到;用验证层级解释"为什么基础设施最先闭合";用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱(数据自产/环境自造/基础设施自我优化),指出只有第三支柱拿到了 A 级公开证据,另两根仍在公告层面。最后逐条核查七个流传最广的数字:3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量,并给出 8 项未获取清单与 4 条可证伪条件。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 140·访客 135
中文互联网基础语料 4.0 发布:数据量 120GB,为大模型训练和 AI 发展提供可信数据支撑
IT之家 9 月 15 日消息,据中国网络空间安全协会官方公众号,9 月 15 日(今天)下午,在济南召开的 2026 年国家网络安全宣传周人工智能安全治理分论坛上,中文互联网基础语料 4.0 正式向社会发布, 数据量 120GB ,并在“…
大模型 IT之家 · 9-15 阅读 51·访客 51
分子自监督预训练:增强视图是否保留了化学语义
分子自监督预训练能利用无标签结构,但“同一分子的两个视图”只有在任务相关语义仍一致时才适合作正样本。本文拆解 MolCLR 的图增强、GraphMVP 的二维—三维跨视图学习与 Uni-Mol 的坐标和原子恢复目标,并解释化学增强的语义边界,以及预训练收益为何依赖任务和数据切分。
研究前沿 精选 · 原创 · 昨天 阅读 7·访客 7
从 FAIR 到可追溯测量:分子科学数据需要什么契约
FAIR 原则不能替代实验质量,SI 单位也不能单独说明测量含义。分子机器学习若要复用数据,需把化学实体、被测量、实验条件、单位、不确定度、处理步骤与权限连接成可检验的数据契约,让模型输入和科学结论都能追溯到原始证据。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
化学反应数据标准化:Schema、清洗与评估边界
反应数据 schema 能把结构、条件、结果与来源放进可计算框架,却不能凭字段定义补齐实验记录。结合 ORD、ORDerly、Toniato 等人的去噪研究与 Catalysis-Hub,梳理数据溯源、缺失字段、任务化清洗和评估泄漏的边界。
研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
数据中心选址学:电力、网络与地缘的三重约束
数据中心建在哪,先看电力与容量,再看网络与气候,最后看政策与地缘;本文拆解选址的三重约束、超大规模时代的迁移趋势,以及自建与托管两种选址问题的不同解法。
行业动态 精选 · 原创 · 11-11 阅读 46·访客 46
联邦学习遇上大模型:分布式训练的隐私前沿
从 FedAvg 到差分隐私大模型训练,梳理联邦学习与大模型结合的技术现状:记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 74·访客 74
智能体生态观察 · 第 23 篇|数据护城河:反馈飞轮、私有数据与壁垒幻觉
「数据是 AI 时代的护城河」是过去几年最流行的创业叙事,但反馈飞轮有统计陷阱,私有数据有成本与合规边界,模型每迭代一次就洗牌一次。本文拆解数据壁垒的真实成分与幻觉成分,给出一套判断什么是可持续数据优势的框架。
智能体 精选 · 原创 · 11-9 阅读 82·访客 81
智能体生态观察 · 第 36 篇|数据边界冲突:爬取协议、license 与开源社区的摩擦
AI 把「内容换流量」的旧交易打成了单方面取用。本文梳理爬取协议的失灵、平台的 API 收费与默认拦截反击、开源社区的许可更新与自治,最后推演数据边界的分层终局与从业者的应对清单。
智能体 精选 · 原创 · 11-9 阅读 70·访客 70
AI 数据标注产业:从众包工地到 RLHF 数据工厂
数据标注是 AI 产业的「隐形地基」——它的形态随 AI 的需求升级了三代:众包打标签、专业质检线、再到 RLHF 的专家反馈工厂。数据工厂的竞争要素变了:比的不是便宜,是「谁身边坐着的博士多」。
行业动态 精选 · 原创 · 11-5 阅读 68·访客 67
AI 基础设施创业的新窗口:从 GPU 云到「数据的工业化」
模型层被巨头锁死、应用层卷成红海,但 AI 基础设施层(Infra)的创业窗口反而变宽了:GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。
行业动态 精选 · 原创 · 11-5 阅读 60·访客 60
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 11-4 阅读 78·访客 78
一篇读懂结构化数据 RAG:表格、数据库与 Text-to-SQL
企业最有价值的知识往往不在文档里,在数据库里。Text-to-SQL 让 LLM 把自然语言变成查询语句,但这条路远比「生成一段 SQL」复杂。本篇拆解结构化数据 RAG 的完整管线:Schema 理解、SQL 生成、执行验证与错误恢复,以及它与向量 RAG 的本质差异。
一叶一世界 精选 · 原创 · 11-4 阅读 71·访客 71
Embedding 微调实战:领域适配与对比学习训练
通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯,通用模型学不到。Embedding 微调用领域数据做对比学习训练,让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。
一叶一世界 精选 · 原创 · 11-4 阅读 74·访客 73
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 11-3 阅读 67·访客 67