从 PaLM 与 OPT 的真实病历出发，拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。

多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。

This is today's edition of* *The Download*,*our weekday newsletter that provides a daily dose of what's going on in the …

困惑度（Perplexity）是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在（模型卡的 loss 就是它），却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人，以及它在评测生态里的正确位置。

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

尼泊尔正面临从致命泥石流灾难后的艰巨重建任务。它寻求从气候赔偿基金 Fund for Responding to Loss and Damage 获得 2000 万美元的赔偿——即要求主要排放国承担责任，尼泊尔认为这场灾难是由气候变化引发的…

从 CLIP 对比预训练到连接器路线与原生 token 统一路线：图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比，一篇讲透。

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

This is today's edition of* *The Download*,*our weekday newsletter that provides a daily dose of what's going on in the …

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

为什么同一段对话，用对 chat template 的模型表现天差地别？对话模型的一切行为都由一张「模板」定义：角色标记、特殊 token、系统提示的位置。本篇拆解 chat template 的结构、各家模板的差异、它如何决定「模型以为自己在跟谁说话」，以及微调与应用时最容易踩的模板坑。

当代旗舰大模型的「万亿参数」几乎都由 MoE（混合专家）撑起：参数规模狂飙，单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现，以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。

语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体（label smoothing、辅助损失、对比损失）各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色，以及对比损失在 Embedding 训练里的位置。

大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

SFT（监督微调）是基座模型变成对话助手的第一步，也是最被误解的一步——它常被当成「教知识」，实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节（epoch、学习率、灾难性遗忘的边界）、常见的失败模式，以及「SFT 教的到底是不是能力」这个核心争议。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

学习率是训练最重要的超参（本库已有专篇），但「学习率随训练怎么变」同样关键：warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」，读完能看懂任何模型报告里的 LR Schedule 曲线。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

正则化（防止过拟合的技术）在经典机器学习里是必修课，但在大模型训练里却「存在感稀薄」——预训练几乎不用 Dropout，微调却常开。这个反差本身是个有趣的信号。本篇拆解 Dropout 与权重衰减的机制、它们在大模型时代角色变化的原因、以及微调场景的正则化实践。

This is today's edition of* *The Download*,*our weekday newsletter that provides a daily dose of what's going on in the …

While science fiction lore tells us that humans will meet extraterrestrial life in the form of little green men, the det…

This is today's edition of* *The Download*,*our weekday newsletter that provides a daily dose of what's going on in the …

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Oct 25, 2026 Nano Banana Pro prompted by THE DECODER Key Points Anthropic recommends that companies evaluate whether the…

Manuel Uth Oct 24, 2026 Nano Banana Pro prompted by THE DECODER Key Points Three OpenAI safety researchers who were fire…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

2023 年 3 月，美国第 16 大银行在 48 小时内轰然倒塌——42 亿美元？不，单日被提取 420 亿美元存款。诡异的是它几乎没有坏账：杀死它的是加息之下「买长债、借短存」的期限错配，和一群都在同一栋楼里刷手机的未保险储户。本文复盘三天崩塌全程，拆解挤兑的现代形态。

To help developers rapidly build world models, which help physical AI systems understand and simulate the real world, NV…

Hierarchical language generation separates continuous semantic modeling from discrete text realization, but its effectiv…

当日涨星 906 的知识图谱项目：代码用本地 tree-sitter AST 零 LLM 额度建图，文档/图片才走语义趟；52 文件混合语料单次查询 token 降 71.5 倍，LOCOMO recall@10 0.497，每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。

As model parameters scale up, sparsely activated Mixture-of-Experts (MoE) approaches have become essential for model sca…

Improving every agent in an LLM-based multi-agent system can be prohibitively costly, making it important to identify wh…

Oct 15, 2026 Nano Banana Pro prompted by THE DECODER Key Points Nvidia has released Nemotron 3.5 Super VL, an open multi…

提出一种无需重训的方法，通过可松弛的神经元与注意力头联合排序，将预训练 Transformer 转化为可随算力预算动态伸缩的单一模型。

As AI factories grow from megawatts to gigawatts, building them takes more than advanced computing. Open standards are h…

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

论文提出分块流式几何基础模型 Drive3R，通过分块因果注意力解决自动驾驶长序列多视图3D重建中GPU内存与全局注意力二次复杂度的瓶颈。

Oct 10, 2026 Mathematicians worldwide are reacting to OpenAI's mass release of hundreds of claimed proofs. More than a h…

Oct 9, 2026 GPT-Image-2 prompted by THE DECODER Key Points OpenAI fired three safety researchers, some of whom helped in…

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

A latent recurrent language model applies a shared block of layers repeatedly, so one checkpoint can trade inference com…

At a glance Harnessed Agentic RL: Microsoft Research Asia introduces a training paradigm in which the same agent harness…

NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD，训练智能体避免最致命的早期错误并在发生时恢复，在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

Jennifer Neville is a partner research manager at Microsoft who’s built a career around understanding and advancing AI f…

Healthleap, a startup building an AI platform that reads patient records to identify patients at risk of undiagnosed ill…

该论文提出在无重建、无解码器、无标签的条件下，基于“结构多样性”条件和LeJEPA的线性可识别性，可证明地恢复个体的世界潜变量，弥补JEPA等方法只能识别到线性变换的不足。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。