想要 batch size 256，显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来，等效 batch = 微批 × 累积步数。但它有一个著名的例外（BatchNorm）和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

在提示里放几个输入-输出示例，模型一次前向传播就把新任务干得像模像样——没有梯度更新，没有训练循环，这就是上下文学习（ICL）。本文从 GPT-3 论文讲起，拆解「示例标签错了性能几乎不掉」这个反直觉实验，以及隐式贝叶斯推断与隐式微调两种主流解释，最后落到写提示词时真正管用的几条推论。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

完整版（含研究方法、逐条证据台账、口径冲突清单、常见误判澄清表、渐进式落地路线与 18 条参考文献）。逐层拆解 Agent 沙箱七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，每条结论标注证据等级（A/B/C/D），并列呈现视频口播与论文的口径冲突、8 条常见误判澄清，并明确列出 5 项官方未公开事项。

基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，逐条标注证据等级，并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。

同一预测核心，跨七类系统验证]

2012 年 10 月，一个用两块游戏显卡训练了五六天的神经网络，把 ImageNet 图像识别错误率从 26% 砍到 15%，整个领域为之改宗。此后五年：ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇，用一手论文数据复盘深度学习的黄金五年，也不回避这五年里的「炼金术」之争。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

一份关于递归自我改进（RSI）的 2026 年全景深度研究：从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代，从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限，区分"主机节点接管已发生"与"全球接管仍是预测"三层口径；并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭，以及一份"协议 10 年衰退概率 48%–62%"的现实账。

拆解 GitHub 14.4 万星开源技能 Ponytail（MIT，2026-06-12 创建）：7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程，以及官方 agentic 基准（−54% 代码 / 100% 安全）与 JetBrains 80 组配对实测（−15.4% 代码 / −10.3% 成本，p=0.004）的三次基准对撞；附设计系统、小模型、指令层三大边界与 6 条落地清单。

2026 年 9 月 15 日凌晨，Opus 5.2 在 Claude Code 中被曝灰度测试，"RSI 真来了？"随即刷屏。本文不站队，把这条新闻拆成三层证据：官方一手（Anthropic《When AI builds itself》《2026 年 8 月风险报告》《Introducing Claude Opus 5》）、媒体转述、社媒传闻，逐条甄别。结论：Opus 5.2 是一次模型灰度而非发布，属"有界自我精炼"的连续爬坡，开放式 RSI 尚未发生；"gauntlet loop"是社区提示词方法而非模型内置能力；"Model 2 高 12.5 分"与官方"增幅不大"口径冲突；"替代 85% 研究团队"溯源到社媒，与官方"18 名受访者中仅 1 人认可"直接矛盾。文末给出"三层证据法"与三个必问问题，并指出真正该盯住的是"智能体能力与验证能力之间的差距"。

一篇讲透"什么是 RSI"的概念解剖：从 Good 1965 的原始定义，到 L0–L5 的 RSI 强度阶梯、七个被误称为 RSI 的东西、真 RSI 的四个必要条件、为什么"递归"不等于"爆炸"，以及一张五问判定卡与 12 个常见误解。

深度学习不是 2012 年凭空出现的——1986 年反向传播论文就登上了 Nature，LeCun 的 LeNet 在 1990 年代替银行处理了一成支票。但同期的 SVM 凭理论保证把神经网络压到学科边缘，「两种文化」之争贯穿整个中场。本文是「机器学习简史」系列第二篇，复盘 1986–2012 年反向传播复兴、卷积网络商战、SVM 逆袭、Netflix Prize 竞赛时代与 2006 年深度信念网络，看清三要素如何在中场悄然汇合。

2026 年三季度全球风险投资 1590 亿美元、AI 占 64%；27 笔十亿美元级巨额轮创历史纪录，Databricks 与 SSI 各 50 亿美元领衔。钱加速流向算力与数据中心，应用层在巨额轮名单集体缺席；IPO 与并购通道同步打开，一二级市场估值分化开始显形。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

在实力至上主义的 AI 圈，用户口碑只看产品能力和性价比。 所以，随着这几天能力拉爆一切的 Opus 5.5 和 Sonnet 5.5 上线，Anthropic 那一厢可以说是勃勃生机万物竞发；而面临着压力的 OpenAI 最近又开始了谜语…

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

滑动窗口是双指针家族里最常用的范式，LeetCode 3 正是它的代表作。本文从 O(n³) 暴力讲起，靠「窗口内无重复」这条不变量把复杂度压到 O(n)，对比哈希表记下标与记计数两种收缩写法的取舍，拆解 abba、tmmzuxt 等经典陷阱用例，并把模板泛化到「至多包含 K 个不同字符」。

99 美元的 AI 毛绒玩具、累计卖出 25 万台的泡泡聊天球、上线一年销售额破 1.2 亿元的成人陪伴玩偶——在 AI 眼镜还在为退货率挣扎时，AI 玩具悄悄跑通了规模。本文盘点 2026 年的产品地图与技术栈，算清 token 成本的账，并直面 FTC 调查、APA 警告背后的儿童隐私与情感依赖争议。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

同一个模型，temperature 从 0.2 调到 1.2，可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变，变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学，以及 temperature 等于 0 也不保证确定这类反直觉的坑。

FLOPS、算力、卡时、集群规模混着说，是看懂算力新闻的第一道坎。本文厘清 FLOPS 与 FLOPs 一字之差的两个概念，给出 6ND 训练算力估算经验与卡时换算方法，解释峰值与有效算力之间的 MFU 差距，最后附一张看懂算力新闻的换算清单。

中秋刚过，国庆又到，AI 圈却没有跟着放假。 新模型依然一个接一个地上线。旗舰模型忙着刷新能力上限，主打速度和性价比的模型则在争夺用户的日常工作。不过，随着后者的能力不断提升，两者之间的分工也开始变得模糊。 过去需要请出旗舰模型的任务，如今…

爱范儿「多样性公司」栏目专访一目科技创始人李智强博士，介绍其厚度迭代至3毫米以下、号称全球最薄可量产的仿生视触觉传感器SENTRA T0，以及触觉感知对机器人灵巧操作的重要性。

8月CPI、PPI接连落地后，CME FedWatch对9月16日FOMC加息25bp的定价从一个月前的48.4%飙升至85.6%（部分渠道报87%）。本文梳理概率演变轨迹与三大定价支柱，并系统拆解美元、美债、美股、黄金、加密、大宗、房地产与中国资产的传导链条、敏感度差异与情景矩阵。

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

接雨水是「按列求水」模型的经典困难题。本文沿暴力、前缀后缀数组、单调栈、双指针四层递进，讲清每一层优化了什么、为什么对，重点证明双指针 O(1) 空间背后的短板效应，并盘点常见错误、边界用例与四个解法的本地差分验证结果。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

小模型学的是大模型的「能力」而非权重：讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩，以及学生上限与闭源 ToS 等边界。

《AI 虚拟细胞（AIVC）技术趋势、产业生态与应用前景研究报告——AI 时代生命科学的新型基础设施》正式发布。]

一篇读懂 2026 年最容易被混为一谈的一对概念：RSI（递归自我改进）改进的是自己的"改进能力"，打在权重与 AI 研发流程上、跨用户且不可逆；Agent 自进化不重新训练模型，靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图（更新基质 × 持久化时长）、三个分辨开关（数阶数 / 看基质 / 清空记忆测试），以及风险的两本账（RSI 是治理问题，自进化是供应链工程问题，已有 36.82% 技能含安全缺陷的审计数据）。本文同时为「一叶一世界」栏目开篇。

亮源新创的Physical Al路线清晰了]

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

衡宇* 2026-09-24 08:48:02 来源：量子位 乔不迟 发自 凹非寺 量子位 | 公众号 QbitAI 过去评价一座数据中心，行业习惯看三个指标： 卡数、算力规模和PUE（电能利用效率）。 大模型进入规模化推理阶段后，这套标…

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

A2A 协议 2026 年 3 月发布 1.0 稳定版，MCP 同年 7 月完成官方所称「史上最大修订」、把协议核心重写为无状态架构；两大规范在 12 个月内先后定型，并在中立基金会下完成治理统一。本文梳理两条演进主线、企业落地证据链，以及重叠、碎片化与过早标准化三派争议。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

Jay* 2026-10-09 16:47:34 来源：量子位 这是一台机器人正在关闭微波炉门时，因人手突然插进来而紧急悬停的时间 Jay发自 凹非寺 量子位 | 公众号QbitAI 0.2秒。 这是一台机器人正在关闭微波炉门时，因人手突…

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

一台 699 美元外加 24 美元月费的「无屏幕设备」，最终 1.16 亿美元卖身 HP、设备一夜变砖；一台 199 美元的「口袋 AI 伴侣」，10 万买家中任何时刻只有约 5000 人在用。Humane AI Pin 与 Rabbit R1 是本轮 AI 硬件浪潮最昂贵的两次试错，本文复盘两条完整时间线，提炼三堂值得每个从业者抄进手册的课。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

当软件没有 API 时，让模型像人一样看截图、点界面。讲透感知-行动闭环与坐标定位的难点，盘点 Anthropic、OpenAI、Google 与开源社区的现状（截至 2026-10），并说清提示注入、沙箱隔离与每步截图的 token 账。