搜索:Transformer

共命中 50 条(服务端检索)
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 731·访客 646
拆开 2026 年的旗舰模型:Transformer 里还剩多少 2017 年的零件
九年过去,Transformer 的骨架纹丝未动,外围部件却几乎换了一遍:归一化从 Post-LN 走到 QK-Norm,位置编码从正弦函数走到 RoPE 与 NoPE 混布,注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线,并回答一个问题——模型之间的差距,还剩多少在架构里?
大模型 精选 · 用户投稿 · 10-9 阅读 384·访客 363
一篇读懂 DiT:视频生成模型为什么都换上了 Transformer 主干
从 Peebles 与谢赛宁的 DiT 论文到 Sora 的时空 patch,讲清 Diffusion Transformer 的三个关键设计:patch 化、adaLN-Zero 条件注入与以计算量为标尺的可扩展性。
一叶一世界 精选 · 原创 · 10-7 阅读 449·访客 442
从 Transformer 到今天:注意力架构的十年演进地图
2017 年的 Transformer 之后,架构研究沿三条主线展开:把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络,并给出读新架构论文的三问。
研究前沿 精选 · 原创 · 10-6 阅读 763·访客 759
归纳头:Transformer 上下文学习的第一块机制拼图
从 Transformer Circuits 数学框架到归纳头相变,本文拆解上下文学习如何由一组注意力回路实现、这条回路为何在训练中突然成形,以及它对涌现能力争论的意义。
研究前沿 精选 · 原创 · 11-9 阅读 59·访客 59
Probing Transformer Representations Layer by Layer, Module by Module
Which representation should be probed in a transformer-based foundation model? Recent work shows that the standard pract…
行业动态 HuggingFace Daily Papers · 11-8 阅读 3·访客 3
无需重训让 Transformer 变'弹性':单一模型适配连续算力预算
提出一种无需重训的方法,通过可松弛的神经元与注意力头联合排序,将预训练 Transformer 转化为可随算力预算动态伸缩的单一模型。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 37·访客 37
机器学习简史(四):Transformer 之后,大模型时代
2017 年 6 月,八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络,标题只有五个词:Attention Is All You Need。此后九年:GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇,所有 2024 年后的关键事实均经联网核实,带你看清截至 2026 年 10 月的大模型版图,与依然悬而未决的终极争论。
研究前沿 精选 · 原创 · 10-10 阅读 828·访客 770
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 498·访客 475
GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
Transformer architectures exhibit cross-layer redundancies, yet post-training compression pipelines typically optimize l…
行业动态 HuggingFace Daily Papers · 9-22 阅读 32·访客 32
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 606·访客 584
JVT: Just Video Transformer makes pixel-space video diffusion simple
Direct diffusion modeling of high-dimensional raw video data is challenging, and existing pixel-space methods often rely…
行业动态 HuggingFace Daily Papers · 11-13 阅读 3·访客 3
Loopback Transformer: Towards a Unified View of Residual Looped Transformers
Looped Transformers reduce parameter count by repeatedly applying shared blocks, but parameter sharing alone does not de…
行业动态 HuggingFace Daily Papers · 11-4 阅读 2·访客 2
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
Computer programmers chain together the same reusable computational primitives, for example, conditional statements or l…
行业动态 HuggingFace Daily Papers · 11-2 阅读 17·访客 17
RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation
Video scene graph generation (VidSGG) aims to capture objects and their evolving relationships in videos. This requires …
智能体 HuggingFace Daily Papers · 10-14 阅读 54·访客 54
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit f…
大模型 HuggingFace Daily Papers · 9-24 阅读 34·访客 34
FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation
Optical flow methods typically rely on task-specific inductive biases, such as correlation volumes, feature warping, and…
行业动态 HuggingFace Daily Papers · 9-10 阅读 48·访客 46
RelightFormer: Feed-forward Generative Transformer for Multiview Object Relighting
Image relighting is traditionally tackled via complex inverse rendering pipelines, which suffer from ill-posed optimizat…
行业动态 HuggingFace Daily Papers · 9-7 阅读 28·访客 28
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
Decision trees are among the most widely used models in machine learning, largely due to their transparent decision logi…
行业动态 HuggingFace Daily Papers · 9-1 阅读 27·访客 27
LoopFill: Pipelined Multi-Token Speculative Decoding for Looped Transformers
Looped Transformers improve parameter efficiency by repeatedly applying the same Transformer layers. During autoregressi…
行业动态 HuggingFace Daily Papers · 11-14 阅读 2·访客 2
Training Vision Transformers to Focus: Emergence of Spatial Attention Head Specialization
Self-supervised learning in Vision Transformer models, such as DINO, enables robust visual perception without requiring …
行业动态 HuggingFace Daily Papers · 11-9 阅读 18·访客 18
MoE 混合专家:稀疏激活怎么把模型越做越大还越跑越快
当代旗舰大模型的「万亿参数」几乎都由 MoE(混合专家)撑起:参数规模狂飙,单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现,以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。
研究前沿 精选 · 原创 · 11-3 阅读 92·访客 86
FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
Attention remains a substantial computational cost in Transformer training, particularly at long context lengths. NVIDIA…
行业动态 HuggingFace Daily Papers · 11-2 阅读 18·访客 18
Fast and Exact Relative-Position Attention via Structure-Aware Kernels
Relative-position attention mechanisms offer compelling alternatives to RoPE across various transformer architectures, d…
行业动态 HuggingFace Daily Papers · 10-31 阅读 9·访客 9
机器学习简史(三):AlexNet 点火,深度学习黄金五年
2012 年 10 月,一个用两块游戏显卡训练了五六天的神经网络,把 ImageNet 图像识别错误率从 26% 砍到 15%,整个领域为之改宗。此后五年:ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇,用一手论文数据复盘深度学习的黄金五年,也不回避这五年里的「炼金术」之争。
研究前沿 精选 · 原创 · 10-10 阅读 280·访客 276
Next-Concept Modeling:由粗到细的快速并行文本生成框架
文章提出 Next-Concept Modeling(NCM),通过多尺度残差 VQ-VAE 将文本编码为层级离散码,再由 transformer 逐层并行生成,在 LM1B 上以更强生成困惑度超越扩散语言模型基线并提速 21 倍。
研究前沿 HuggingFace Daily Papers · 10-9 阅读 35·访客 35
BigCell:首个生成千兆像素级全切片病理图像的方法
BigCell 在超过 12 万张公开 WSI 上训练 2048×2048 的 flow-matching transformer,首次实现原生千兆像素分辨率的全切片病理图像生成,并可通过病理基础模型嵌入进行条件控制。
研究前沿 HuggingFace Daily Papers · 10-9 阅读 31·访客 31
注意力没有被取代,而是被稀释:线性注意力、Mamba 与混合架构的 2026
「线性注意力取代 Transformer」喊了六年,结局出人意料:2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%,压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线,拆解 Qwen3-Next 与 Kimi Linear 的混合配方,并回答那个核心问题——为什么还是要留 25% 的注意力。
研究前沿 精选 · 用户投稿 · 10-9 阅读 691·访客 644
One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts
In this work, we show that a single Transformer block, applied recurrently, can match the accuracy of a full-depth visio…
行业动态 HuggingFace Daily Papers · 10-8 阅读 27·访客 27
Iris-3B:像素空间扩散训练、转换与微调的探索
作者从头预训练了3B参数的像素空间文生图Transformer Iris-3B,并将预训练的潜在空间模型FLUX.2 Klein base 4B转换为像素空间,在单目深度估计和图像修复/超分辨率任务上微调,发现像素空间生成先验并未带来显著提升。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 38·访客 38
EngramEdit:基于条件记忆实现大模型解耦知识更新
论文提出EngramEdit方法,利用DeepSeek Engram式条件记忆架构,在不改动Transformer骨干的情况下对事实知识进行解耦更新,并应对不同表述激活不同n-gram嵌入及共享嵌入误伤其他事实预测的挑战。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 34·访客 34
Diffusion Policy:机器人动作生成为什么弃用回归、改用扩散模型
模仿学习的老问题是「多峰动作分布」——两种都对的做法被回归平均成一种错的。Diffusion Policy 用条件去噪扩散直接建模动作分布,在 12 个任务、4 个基准上平均成功率提升 46.9%,此后 DP3、DPPO 相继跟进,π0 的流匹配与 GR00T 的扩散 Transformer 把它推成了 VLA 时代的标配动作头。
研究前沿 精选 · 原创 · 10-7 阅读 505·访客 505
论文精读:Mamba——线性时间序列建模的选择性状态空间
Mamba 把 SSM 参数改成输入的函数,让固定大小的状态学会按内容取舍;再靠并行扫描与 kernel 融合把状态装进 SRAM,线性复杂度落地——3B 匹敌两倍大的 Transformer,5 倍推理吞吐,线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。
研究前沿 精选 · 原创 · 10-7 阅读 376·访客 358
一篇读懂 RoPE:旋转位置编码怎么「转」出长上下文
从自注意力不识顺序的痛点讲起,用二维复数把旋转位置编码的推导一次讲透:内积为何只依赖 m−n、高维频率如何分配,配一份本地跑通的 numpy 最小实现与整体平移不变性实验,再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。
一叶一世界 精选 · 原创 · 10-7 阅读 330·访客 321
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 567·访客 565
手撕 Multi-Head Attention:纯 Python 从零实现并跑通
用 numpy 从零实现 Multi-Head Attention 前向(含 causal mask),45 行核心代码;附逐步形状账与参数量核算,三个实测断言验证因果依赖、softmax 归一与参数量,全部本地跑通。
大模型 精选 · 原创 · 10-7 阅读 279·访客 276
MoE 混合专家入门:大模型如何「变胖不变贵」
MoE 架构让模型总参数可以做得很大,而每个 token 实际经过的计算却不大,这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点,最后给出 MoE 与稠密模型的选型判断。
大模型 精选 · 原创 · 10-6 阅读 538·访客 521
Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery
Pruning large pre-trained transformer-based ASR models such as OpenAI's Whisper has seen great adoption, as pruning the …
行业动态 HuggingFace Daily Papers · 9-23 阅读 40·访客 40
Alibaba Qwen Releases Qwen-Image-2.1: A 7B Open-Weight Model for Image Generation and Editing
Alibaba's Qwen team has released Qwen-Image-2.1, a 7B diffusion transformer that handles text-to-image generation, multi…
大模型 MarkTechPost · 9-22 阅读 60·访客 60
Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone
Modern Transformer design and compression both reduce to allocating capacity under a budget. The standard scalars for th…
智能体 HuggingFace Daily Papers · 9-19 阅读 70·访客 70
Disentangling Representation Evolution in Transformers through Directional Decomposition
Transformer representations evolve through learned additive transformations that either preserve their current direction…
行业动态 HuggingFace Daily Papers · 9-14 阅读 33·访客 33
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…
智能体 HuggingFace Daily Papers · 9-8 阅读 80·访客 80
Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise
A transformer can make an attribute linearly decodable in its residual stream at a depth where that attribute does not y…
行业动态 HuggingFace Daily Papers · 9-7 阅读 30·访客 30
RenderFormer-V2: Neural Rendering with Heterogeneous Scene Primitives
We present 'RenderFormer-V2', a unified learned transformer-based neural rendering model, complementary to modern physic…
行业动态 HuggingFace Daily Papers · 9-4 阅读 30·访客 28
OpenAI 发布 Sora:视频生成的 GPT-3 时刻
Sora 基于扩散模型与 Transformer 架构,可直接从文本生成长达一分钟的高保真视频,展示了对物理世界'世界模拟器'式的理解潜力。
大模型 精选 · OpenAI · 2024-02-16 阅读 575·访客 571
并购完成,李飞飞正式率队加入AMD!苏妈亲自欢迎
克雷西* 2026-11-17 22:15:20 来源:量子位 82亿美元股票,46天闪电交割 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 这下真是王见王了! 旧金山的办公室里,**「半导体女王」苏姿丰和「AI教母」李飞飞并肩坐…
行业动态 量子位 · 4天前 阅读 5·访客 5
龙芯、海光老兵集结,通研院孵化的AGI芯片公司浮出水面!半年连融数亿元
思邈* 2026-11-16 13:05:22 来源:量子位 杨立昆、李飞飞都在追问的事,通芯智能想用一颗芯片来回答。 允中 发自 凹非寺 量子位 | 公众号QbitAI 一颗芯片还没造出来,准备跑在上面的AI,可能已经更新了好几轮。 这…
行业动态 量子位 · 5天前 阅读 7·访客 7
Latent Feedback Is a Compute and Data Amplifier
When high-quality data runs out, a common practice is to train on it for several epochs, but each repeat is worth less t…
行业动态 HuggingFace Daily Papers · 5天前 阅读 2·访客 2
AllocFlow: End-to-End Portfolio Trading Action Generation from Raw Market Data
Real-world portfolio management requires converting noisy market observations into coordinated, simultaneous allocations…
行业动态 HuggingFace Daily Papers · 6天前 阅读 2·访客 2
世界首颗:单次矩阵方程求解时间小于 100 纳秒,国产新型模拟计算芯片问世
IT之家 11 月 15 日消息,据科技日报从模拟计算芯片公司安纳智芯了解到,该公司自主研发的 AX100 芯片已于 10 月完成流片,这是**世界首颗全集成一步求解矩阵方程模拟计算芯片**。 经测试,**该芯片单次矩阵方程求解时间小于 1…
大模型 IT之家 · 6天前 阅读 23·访客 23