从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

从 Peebles 与谢赛宁的 DiT 论文到 Sora 的时空 patch，讲清 Diffusion Transformer 的三个关键设计：patch 化、adaLN-Zero 条件注入与以计算量为标尺的可扩展性。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

Transformer architectures exhibit cross-layer redundancies, yet post-training compression pipelines typically optimize l…

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit f…

Optical flow methods typically rely on task-specific inductive biases, such as correlation volumes, feature warping, and…

Image relighting is traditionally tackled via complex inverse rendering pipelines, which suffer from ill-posed optimizat…

Decision trees are among the most widely used models in machine learning, largely due to their transparent decision logi…

2012 年 10 月，一个用两块游戏显卡训练了五六天的神经网络，把 ImageNet 图像识别错误率从 26% 砍到 15%，整个领域为之改宗。此后五年：ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇，用一手论文数据复盘深度学习的黄金五年，也不回避这五年里的「炼金术」之争。

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

In this work, we show that a single Transformer block, applied recurrently, can match the accuracy of a full-depth visio…

作者从头预训练了3B参数的像素空间文生图Transformer Iris-3B，并将预训练的潜在空间模型FLUX.2 Klein base 4B转换为像素空间，在单目深度估计和图像修复/超分辨率任务上微调，发现像素空间生成先验并未带来显著提升。

论文提出EngramEdit方法，利用DeepSeek Engram式条件记忆架构，在不改动Transformer骨干的情况下对事实知识进行解耦更新，并应对不同表述激活不同n-gram嵌入及共享嵌入误伤其他事实预测的挑战。

模仿学习的老问题是「多峰动作分布」——两种都对的做法被回归平均成一种错的。Diffusion Policy 用条件去噪扩散直接建模动作分布，在 12 个任务、4 个基准上平均成功率提升 46.9%，此后 DP3、DPPO 相继跟进，π0 的流匹配与 GR00T 的扩散 Transformer 把它推成了 VLA 时代的标配动作头。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。

Pruning large pre-trained transformer-based ASR models such as OpenAI's Whisper has seen great adoption, as pruning the …

Alibaba's Qwen team has released Qwen-Image-2.1, a 7B diffusion transformer that handles text-to-image generation, multi…

Modern Transformer design and compression both reduce to allocating capacity under a budget. The standard scalars for th…

Transformer representations evolve through learned additive transformations that either preserve their current direction…

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…

A transformer can make an attribute linearly decodable in its residual stream at a depth where that attribute does not y…

We present 'RenderFormer-V2', a unified learned transformer-based neural rendering model, complementary to modern physic…

Sora 基于扩散模型与 Transformer 架构，可直接从文本生成长达一分钟的高保真视频，展示了对物理世界'世界模拟器'式的理解潜力。

The U.S. Air Force will buy data collected by WindBorne Systems‘ fleet of autonomous weather balloons under a new contra…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Tomislav Bezmalinović Oct 11, 2026 Odyssey AI Key Points California-based AI company Odyssey has launched a public resea…

鹭羽* 2026-10-11 13:22:38 来源：量子位 马斯克连横A社，硅谷VC开始囤GPU 鹭羽 发自 凹非寺 量子位 | 公众号QbitAI 没招了！硅谷为了争夺AI算力已经**彻！底！疯！狂！** 就连A社CEO Dario …

TypeSafe AI, the developer of Jev, a new type of AI model that gained rapid popularity after launching just a few weeks …

从叠加假说、稀疏自编码器到归因图，机械可解释性在 2026 年第一次跑进生产线：Anthropic 能画出 Claude 的思维回路，OpenAI 从 GPT-4 抽出 1600 万特征，Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。

深度学习不是 2012 年凭空出现的——1986 年反向传播论文就登上了 Nature，LeCun 的 LeNet 在 1990 年代替银行处理了一成支票。但同期的 SVM 凭理论保证把神经网络压到学科边缘，「两种文化」之争贯穿整个中场。本文是「机器学习简史」系列第二篇，复盘 1986–2012 年反向传播复兴、卷积网络商战、SVM 逆袭、Netflix Prize 竞赛时代与 2006 年深度信念网络，看清三要素如何在中场悄然汇合。

「机器会思考吗？」这个 1950 年的疑问，如何一步步变成 1958 年报纸头版上的感知机奇迹，又如何在 1974 年和 1987 年两次坠入寒冬？本文是「机器学习简史」系列第一篇，从 MP 神经元、图灵模仿游戏、达特茅斯会议讲到感知机兴衰、Lighthill 报告与 Lisp 机器崩塌，用一手文献复盘 AI 前四十年的大起大落，以及两次寒冬留给今天的教训。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

Visual representations are largely developed for understanding, yet what makes them useful for generation remains unclea…

Jay* 2026-10-09 16:47:34 来源：量子位 这是一台机器人正在关闭微波炉门时，因人手突然插进来而紧急悬停的时间 Jay发自 凹非寺 量子位 | 公众号QbitAI 0.2秒。 这是一台机器人正在关闭微波炉门时，因人手突…

田, 晏林* 2026-10-09 11:52:21 来源：量子位 星动纪元选择将视频预测与动作学习分阶段训练，重点不是「视频、动作一锅炖」，而是把两者「解耦」，重新「排序」。 田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 好家…

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

「北京」和「首都」没有一个字相同，计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量，让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起，拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习，并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。

2023 年 UniAD 拿下 CVPR 最佳论文，2024 年特斯拉 FSD v12 把约 30 万行手写 C++ 驾驶规则换成一根端到端神经网络——此后两年，端到端从研究界的挑战者变成了智驾行业的主路线。本文拆解它替掉了什么（模块化流水线的三宗罪）、怎么工作（可微分架构 + 模仿学习）、以及它把哪些老问题换成了哪些新问题（可解释性、安全验证、数据长尾）。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

在提示里放几个输入-输出示例，模型一次前向传播就把新任务干得像模像样——没有梯度更新，没有训练循环，这就是上下文学习（ICL）。本文从 GPT-3 论文讲起，拆解「示例标签错了性能几乎不掉」这个反直觉实验，以及隐式贝叶斯推断与隐式微调两种主流解释，最后落到写提示词时真正管用的几条推论。