大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

自由循环的 Agent 难以控制分支、审计与人工介入。本文用 LangGraph 把工作流写成显式状态机：State、Node、Edge 三概念，一个两节点循环的最小示例，以及 Checkpointer 带来的断点续跑与 human-in-the-loop 能力。

LangGraph 是 LangChain 生态里最流行的 Agent 编排框架：把智能体的控制流画成显式的状态图。本篇拆解它的核心抽象（StateGraph、节点与边、reducer）、checkpoint 持久化与断点恢复、human-in-the-loop 中断机制，以及它与朴素 Agent 循环、其他框架的取舍。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

人类学一门新课不会忘掉母语，神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一，在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制（权重覆盖）、三大对策路线（正则化、回放、参数隔离）、LoRA 时代的低成本续训，以及「知识注入」为什么仍是开放难题。

白天推理高峰、训练占卡；训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式（抢占、分区、弹性分区）、以及「在线优先」的调度纪律。

AI 集群的存储不是一个系统打天下：训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

Agent 不只活在聊天窗口里：定时运行的智能体（每日简报、巡检、同步）、长时运行的智能体（数小时的研究与批处理）构成「后台 Agent」的形态。本篇拆解后台 Agent 的架构要素（触发器、状态持久化、幂等与重试、通知与审计）、与聊天 Agent 的差异，以及长任务工程的关键设计。

一个万卡集群每天都会有硬件故障——GPU 故障不是意外，是常态。本篇拆解 GPU 故障的类型学（ECC、掉卡、降频）、巡检与预测性维护、自动化的故障自愈，以及「把故障当日常来运营」的工程心态。

沙利文报告]

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题：下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案（直连下载、镜像仓库、P2P 分发与本地缓存）、冷启动优化的衔接、以及分发管线的工程纪律。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

Agent 工程系统学习第 8 章：工作流引擎把确定性控制流从模型手里拿回来，HITL 在关键决策点交还控制权。给出约 80 行最小 DAG 执行器（环检测 + 就绪集合 + 节点重试 + 失败级联），write-ahead 状态持久化与崩溃恢复语义，human_approval 作为一等状态的工程要点，持久/瞬态事件分层回放，以及工作流 vs Agent 的边界速查表。

破晓智能与天珑移动发布SeePhys Hub数据采集系统，通过四目头环、腕部手环、腰腿部追踪器和触觉手套，将视觉与身体运动、触觉信号融合，为机器人学习全身移动操作补充Ego数据中缺失的交互信息。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

一位 89 岁教授的 70 余万判赔，点燃了公众对知网积攒多年的怒火；从中科院千万续订费到 8760 万元反垄断罚单，这不是一次危机，而是平台型垄断结构性矛盾的总爆发。本文复盘全程，拆解账单与教训。

传统 RAG 的体验是「等待—出结果」：检索完才生成、生成完才展示。流式 RAG 改变了这个节奏：检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式（渐进式检索、流式生成与流式 UI）、延迟优化策略，以及「让用户在等待中看到进展」的体验设计。

当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎：拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍，并给出四类可复现场景与横向对比。

一份可直接用于团队分享的 Agent 沙箱全景：从进程级到 microVM 的五级隔离谱系、「请求→供给→执行→回收」主流程、六大能力组清单，以及从单沙箱限额到高密度超卖的四层资源并发控制，综合本站知识库 13 篇沙箱主题文章写成。

从 kube-apiserver 处理一条请求的完整链路讲起，拆解 Kubernetes 控制平面与数据平面的分层设计：声明式 API 与控制循环为什么成为事实标准，调度、网络、存储、资源模型如何协作；再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。

从控制流与上下文的所有权出发，给出四条可执行的 Agent 工程原则：一切外部接入以工具体系形式接入且不注入系统提示词；逐级披露贯穿技能、工具发现、工具执行与记忆四个环节；Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系；并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构，以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。

克雷西* 2026-09-23 15:29:50 来源：量子位 每秒能产生5000+个沙盒 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 大模型训练拼的是算力，Agent训练拼的是环境。 环境怎么造？梁文锋署名的DeepSeek最…

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

企业智能体的真实采用曲线呈断层状：POC 与试点遍地开花，真正进入生产并承担关键业务的凤毛麟角。本篇观察断层的位置与成因（六个生产化缺口）、跨越断层的组织形态、以及「试点工厂」陷阱——为什么大量企业困在永远试点里。

传统嵌入向量要么全存要么全废，维度定死；嵌套表示（MRL）训练出的向量有个特殊性质——只取前 128 维依然可用，取前 256 维更好。本文讲清它的直觉原理、两种用法（截断降维与级联检索）、以及「普通模型向量不能随便截」这条红线。

九大空间测试10B规模通用模型中8项第一]

显存不够时的两板斧——梯度检查点（用计算换显存）与 offload（用传输换显存）——是让「消费级硬件跑大模型训练」成为可能的关键技术。本篇拆解两者的机制、各自的代价曲线、怎么组合使用，以及什么时候该承认「硬件真的不够」。

AI 与军事的结合不是未来时而是现在时：目标识别、情报分析、无人系统的自主化——以及最尖锐的争议点：自主武器（LAWS）该不该被禁止。这场辩论已经持续四十年，从联合国公约讨论到实验室的道德声明。本文讲清军事 AI 的现实图景、LAWS 辩论的核心论点、以及「人的判断」这条底线的攻防。

「孩子平衡感差=感统失调，不练就晚了」——感统训练是早教市场最成功的焦虑生意之一。感觉统合理论本身是正经的 occupational therapy 概念，但它的大众化诊断被严重注水：正常孩子发育中的笨拙被批量包装成「失调」，高价课程收割的是家长的恐慌。本文讲清感觉统合的学术真相、哪些信号真正值得就医、以及家庭里免费的替代方案。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

力气不是「劲儿」，是运动单位征募的电生理游戏；肌肉酸痛不是乳酸堆积，是无序装配的修复账。把肌肉的微观机械讲透，「增力」「增肌」「DOMS」「拉伤」这一族概念会全部归位。

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

开源 AI 模型的「免费」是当代科技产业最奇特的经济学：数以百亿计的算力与人力被投入，产出以零价格发布。谁在买单？为什么买单？免费模型的存在如何重塑商业格局？本文讲清开源 AI 的四种买单模式、搭便车者的生存术，以及这个特殊生态的可持续性问题。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

🥽曝苹果重新评估 Vision Pro 路线，测试更轻机型 🍎洛图：8 月中国笔电线上销量降 20.8%，苹果与小米份额上升 ⚖️苹果触觉反馈专利案被裁赔 57 亿美元，称将上诉 🛡️OpenAI 暂停最强模型的工具使用训练，沙盒 D…

量子位的朋友们* 2026-09-22 18:06:34 来源：量子位 9月22日，在2026杭州云栖大会企业级Agent实践峰会上，基元律动联合创始人兼CTO韩凯发表演讲《从Harness到RSI飞轮》。 9月22日，在2026杭州云栖…

2026 年 9 月 15 日凌晨，Opus 5.2 在 Claude Code 中被曝灰度测试，"RSI 真来了？"随即刷屏。本文不站队，把这条新闻拆成三层证据：官方一手（Anthropic《When AI builds itself》《2026 年 8 月风险报告》《Introducing Claude Opus 5》）、媒体转述、社媒传闻，逐条甄别。结论：Opus 5.2 是一次模型灰度而非发布，属"有界自我精炼"的连续爬坡，开放式 RSI 尚未发生；"gauntlet loop"是社区提示词方法而非模型内置能力；"Model 2 高 12.5 分"与官方"增幅不大"口径冲突；"替代 85% 研究团队"溯源到社媒，与官方"18 名受访者中仅 1 人认可"直接矛盾。文末给出"三层证据法"与三个必问问题，并指出真正该盯住的是"智能体能力与验证能力之间的差距"。

把多模型执行经验用到了模型训练

量子位的朋友们* 2026-10-21 17:45:22 来源：量子位 10月21日，生数科技世界模型团队正式开启Motubrain 2.0训练全流程公开直播 大模型训练过程，开始更多地出现在公众视野中。 此前，小米MiMo负责人罗福莉公…

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

正则化（防止过拟合的技术）在经典机器学习里是必修课，但在大模型训练里却「存在感稀薄」——预训练几乎不用 Dropout，微调却常开。这个反差本身是个有趣的信号。本篇拆解 Dropout 与权重衰减的机制、它们在大模型时代角色变化的原因、以及微调场景的正则化实践。

大模型的知识停在训练截止日，私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界，给出二十行以内的最小检索增强流水线，并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。

「si 列占满一个核」是高流量机器最经典的现象。本文从硬中断为什么要拆两半讲起，拆解 softirq 的机制（who触发、在哪跑、budget 限制）、NET_RX 的 NAPI 轮询路径、RSS/RPS 多队列分流，以及 RSS 单队列瓶颈与 irqbalance 的取舍，最后给出 si 异常的完整诊断流程。

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

下游服务变慢时，上游的调用线程被阻塞，线程池耗尽后整个服务不可用——故障沿着调用链向上游传播，最终全站雪崩。熔断器就是切断了这条传播链的安全装置：检测到下游持续失败时自动「断开」，给下游恢复的时间。本文讲清熔断器的三态模型、与限流/降级的协作、以及 Resilience4j 的实践。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。