正则化（防止过拟合的技术）在经典机器学习里是必修课，但在大模型训练里却「存在感稀薄」——预训练几乎不用 Dropout，微调却常开。这个反差本身是个有趣的信号。本篇拆解 Dropout 与权重衰减的机制、它们在大模型时代角色变化的原因、以及微调场景的正则化实践。

人类学一门新课不会忘掉母语，神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一，在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制（权重覆盖）、三大对策路线（正则化、回放、参数隔离）、LoRA 时代的低成本续训，以及「知识注入」为什么仍是开放难题。

Google 联合多校开源 RRSI 框架，在冻结 LLM 前提下自动进化智能体 harness，并用正则化抑制基准过拟合，8 项基准最高提升 14.1 分。

用不到百行纯标准库 Python 手撕 BPE 分词器：训练学合并表与编码贪心重放两个阶段拆开讲，小语料实测编码—解码往返一致，再用反例展示预分词正则为什么必不可少，最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

论文从电路复杂度角度证明：在温和的正则性条件下，标准流匹配采样器的轨迹可被常数轮并行模型评估模拟，因此单纯增加采样步数无法提升固定深度骨干模型的表达能力，并提出自条件化以实现深度串行推理。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

学习率是训练最重要的超参（本库已有专篇），但「学习率随训练怎么变」同样关键：warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」，读完能看懂任何模型报告里的 LR Schedule 曲线。

应用要的是 JSON，模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价：提示词祈祷法（零保证）、语法约束解码（100% 合法但不保证语义）、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。

UCLA/MIT 背景团队开源的多智能体投研框架：四个分析师并行取证、多空研究员结构化辩论、三档风控独立审议、组合经理五档评级拍板，并用已实现收益结算决策记忆。本文拆解其状态机与评级解析机制、五类落地场景，并如实标注论文仅三个月窗口、夏普比率超经验范围等边界。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

一篇讲透"什么是 RSI"的概念解剖：从 Good 1965 的原始定义，到 L0–L5 的 RSI 强度阶梯、七个被误称为 RSI 的东西、真 RSI 的四个必要条件、为什么"递归"不等于"爆炸"，以及一张五问判定卡与 12 个常见误解。

语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体（label smoothing、辅助损失、对比损失）各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色，以及对比损失在 Embedding 训练里的位置。

2012 年 10 月，一个用两块游戏显卡训练了五六天的神经网络，把 ImageNet 图像识别错误率从 26% 砍到 15%，整个领域为之改宗。此后五年：ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇，用一手论文数据复盘深度学习的黄金五年，也不回避这五年里的「炼金术」之争。

一份关于递归自我改进（RSI）的 2026 年全景深度研究：从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代，从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限，区分"主机节点接管已发生"与"全球接管仍是预测"三层口径；并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭，以及一份"协议 10 年衰退概率 48%–62%"的现实账。

把 LLM 输出接进程序，坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案，拆解 logit 掩码与 Schema 编译成状态机的原理，附约 50 行纯 Python 约束解码演示，本地可跑。

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

用户问「你好」「帮我写首诗」，也被送去向量库里转一圈——检索噪声污染回答，还白烧延迟和成本。查询路由是检索之前的分流器：判断这个问题需不需要检索、走哪个索引、要不要追问澄清。本文讲清路由的决策维度、实现谱系（规则→分类器→LLM）、失败代价与降级设计。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

Claude Code 用法实操：CLAUDE.md 记忆文件分层加载规则与模板、子智能体定义与上下文隔离、PreToolUse/PostToolUse 钩子拦截与自动格式化配置，附探索-计划-实现-提交循环、headless CI 集成与成本边界分析。

「这条 SQL 为什么慢」是后端工程师的高频问题，答案往往藏在索引里：B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。

「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

大模型的科学能力是双刃剑的极端形态：同一个能帮学生学生物的模型，理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化（bio/chem）风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

Agent 表现的上限常常不在模型而在工具。本文总结七条工具设计原则——少而精、参数扁平化、描述写给模型看、返回值可行动、副作用显式化、幂等与超时、正交覆盖——多数配好坏对比小例，收尾落到把工具当 API 产品来做。

指数不是市场的照片，是按规则画的一幅画：选样空间、加权方式、调整频率，每个环节都影响它「像不像」你想投资的市场。本篇拆解指数编制的四个技术环节、上证综指的分母陷阱、沪深 300 与中证 A500 的编制差异、加权方式的隐蔽影响（市值加权 vs 等权 vs 股息率加权），帮你把「买指数」变成「买对指数」。

公募基金之外还有一个体量庞大、门槛更高的世界：私募证券基金、私募股权、对冲策略、大宗商品与收藏品。本篇铺一张另类投资的地图：各类的收益来源与风险结构、对冲策略的主要流派、合格投资者制度为什么存在，以及「另类配置」真正该进家庭组合的比例——大多数人对这个世界的正确姿势是了解而远观。

RAG 系统最伤信任的时刻，不是「答不出来」，而是「一本正经地答错」。拒答机制的目标是让系统在该沉默时沉默：检索层无料就明说，生成层答案没依据就降级，输出前再加一道 groundedness 校验。本文讲清三道防线的实现、阈值设计与「拒答不冷漠」的体验设计。

JetBrains InnovationHub 开源的智能体 IDE：以进程内 pi 编码智能体为引擎，每个任务一条 git worktree 与分支实现并行隔离，用代码旁可被 Agent 读写的 SPEC.md 图谱承载项目意图，并用版本化类型协议把前端与宿主解耦。本文拆解其 spec_* 工具读模型、WsErrorCode 封闭集与 MCP 按调用授权，并如实标注 0.x 无基准、规格自我指涉风险与「越用越好用」的营销边界。

日涨 1949 星的编码智能体技能：用「先爬梯子再写码」的决策梯子和三条生命周期钩子，把智能体产出的代码量、token 与成本压掉四到五成，正确性与安全检查反而略升。JetBrains 第三方复测确认成本下降显著，但也指出了宣称幅度与激活条件两个关键保留意见。

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

Cloudflare 开源的编码智能体安全审计技能，近一周被社媒二次引爆，单日涨星 1,680。它不含任何扫描引擎，用 18 份 Markdown 契约加 2 个零依赖校验器，把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线：确定性覆盖账本记录「查了什么」，新鲜验证者反证每个候选，三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。

编辑距离是序列动态规划的珠穆朗玛：暴力递归是指数级爆炸，但状态数只有区区 25 万个。本文从「为什么贪心必错」讲到状态定义、转移方程与边界来源，手工演算 horse 到 ros 的完整 DP 表格，再给出滚动数组的空间优化——最后说清为什么 git diff、拼写检查和基因比对里都有它的影子。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

NVIDIA 开源的自主智能体运行时 OpenShell（当日涨星 +978、★10,496、Apache-2.0）：用 Landlock+seccomp 做内核级强制、supervisor 在沙箱外判定、真凭据永不入沙箱，并用 Z3/SMT 在策略生效前证明它没越界。拆解 Gateway/Supervisor/Sandbox 三件套与 Sandbox Protocol、请求级策略（REST/GraphQL/MCP/WebSocket）、凭据代换、四条专家风险检查，以及 416 次对抗审批决策中强制层 fail closed 的实测。

从「AI 辅助科研」到「AI 自主科研」：Sakana 的 AI Scientist 尝试让模型独立完成从想法、实验、写作到评审的完整闭环。本篇拆解自动化研究智能体的架构（想法生成—代码实验—论文写作—自动评审）、闭环里每个环节的真实成色、AI co-scientist 等后续进展，以及「机器发现」离真正的科学贡献还有多远。

大模型价格战的背后（本库《价格战》），站着一条被低估的产业链：推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型，却决定了模型的交付成本，是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图，讲清每一格的手艺与玩家。

从 WWDC26 初亮相，到 8 个 Beta 版一路“打怪升级”，iOS 27 终于在 9 月 15 日转正上岗了， 苹果在昨天向广大 iPhone 用户推送 iOS 27 正式版更新 。 历经 iOS 27 这几个 Beta 版体验下来…

大多数家庭不缺规矩，缺的是「稳定执行」——规则朝令夕改、执行看父母心情、边界随孩子哭声移动，是比没有规矩更糟的状态。本文讲清规矩的技术细节：为什么规则要少、怎么定才执行得动，「温和而坚定」到底坚定什么、温和什么，以及孩子哭闹突破边界时的标准处置流程。

下单之前必须知道的三笔账：交易规则的账（T+1、涨跌停与各板块门槛）、费用的账（一次来回 7 元，每天来回一年磨掉本金 17%）、行为的账（上交所 5300 万账户研究：10 万元以下散户年均亏 2457 元）。本文用现行规则与可复算的数字，把 A 股开户到下单之间的常识一次讲清。

Pew 研究中心的数据坐实了出版商最深的恐惧：搜索结果里出现 AI 摘要时，传统链接点击率从 15% 掉到 8%；而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时，Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同，正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。

2018 年 11 月，D&G 为上海大秀发布的《起筷吃饭》广告被批刻板化中国饮食文化，设计师 Instagram 辱骂言论曝光后，官方甩锅「账号被盗」；上海大秀当天取消，天猫京东等八大电商全面下架，两位创始人用中文说「对不起」——但文化冒犯无法像产品一样召回。亚太收入占比从 25% 缩至 22%，2021 年反弹 20% 仍低于事发前，回归之路走了四年尚未复原。本系列第 23 篇复盘「文化傲慢型舆情」：致敬与冒犯的判定权在接收方，而奢侈品的高替代性让消费者的钱包投票最为彻底。

Redis 是内存数据库，但数据不能只放在内存里——断电即失。RDB 快照与 AOF 日志是 Redis 的两条持久化路线：前者快恢复慢丢数据，后者慢恢复快丢数据少。本文讲清两者的机制、混合持久化的设计、以及「到底选哪个」的决策框架。

智能体与 SaaS 的关系正在穿过三个阶段：SaaS 接插件（智能体作为外挂能力）、SaaS 被 Agent 调用（智能体成为使用界面）、Agent-Native（产品围绕智能体重新设计）。每一阶段对 SaaS 厂商的冲击与机会都不同，「UI 即产品」的护城河在第三个阶段被动摇。本篇观察这条演化线与厂商的应对。

2022 年底那轮破净潮里，超过两成存续理财跌破净值，其中近九成是号称「中低风险」的 R2 固收类。本文从资管新规讲到净值化的第一次大考，拆解业绩比较基准、平滑估值整改与说明书里的非标双限、开放频率等魔鬼细节，最后给一张存款、理财、债基的对比表。

你在 K 线前犹豫时，另一批参与者每秒完成上千次决策。本文拆解量化交易从因子挖掘到执行算法的流水线，核对规模 3 万亿级的中国量化行业与 2026 年落地的三层监管（高频认定：每秒 300 笔），并复盘 2024 年 2 月那场让「同质化」三个字上教科书教科书级的流动性危机。

2022 年 7 月，一支 31℃ 室温放一小时不化的雪糕把钟薛高送上热搜，热度仅次于当年的「土坑酸菜」。与上一篇张小泉不同，钟薛高当晚就做了回应、后来也被抽检证明成分合规，却仍没能阻止一家估值近 40 亿的公司滑向破产清算。本文复盘这场舆情的三个败因——存量坏账、技术正确、黑公关牌，以及从 40 亿估值到 2110 万商标拍卖价的完整代价清单。