Linear attention enables efficient long-context autoregressive decoding by compressing history into recurrent states, bu…

While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit f…

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

When a camera revisits a previously observed region, a video world model should reproduce what was there before. This re…

To make claims about representations that generalize beyond a particular trained model, we need to specify when two repr…

Scaling language models to long contexts is limited by the quadratic cost of self-attention. Block sparse attention offe…

Linear RNNs based on the delta-rule enable efficient sequence modeling, but their linear updates with a low-rank correct…

Recently, linear attention layers have been increasingly adopted to replace softmax attention at scale for long-context …

We consider the problem of support recovery for sparse binary signals from noisy linear measurements. For sparse Gaussia…

Linear attention is increasingly used in frontier language models for efficient long-context inference and constant-memo…

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

该论文提出在无重建、无解码器、无标签的条件下，基于“结构多样性”条件和LeJEPA的线性可识别性，可证明地恢复个体的世界潜变量，弥补JEPA等方法只能识别到线性变换的不足。

衡宇* 2026-10-07 22:10:33 来源：量子位 乔不迟 发自 凹非寺 量子位 | 公众号 QbitAI 刚刚，2026年诺贝尔化学奖正式揭晓！ 瑞典皇家科学院宣布，今年的诺贝尔化学奖授予法国巴黎第十一大学的**Henri B…

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

论文提出TIDES，一种选择性SSM变体，通过将输入依赖从时间步长转移到对角状态矩阵，使模型在保持选择性的同时原生处理不规则时间戳。

In this tutorial, we implement **Kauldron**, the JAX training library from Google Research that describes itself as opti…

Perplexity Research and turbopuffer have released **pplx-embed-v2-context-9b-preview**, a contextual embedding model for…

UniWAM 提出统一架构，整合物理推理器、世界生成器与动作预测器，联合学习物理世界语义理解、视觉生成与动作预测，并配套了严格的数据清洗与标注流程。

Distribution Matching Distillation (DMD) trains a few-step student from the difference between separately estimated targ…

NVIDIA has released Kumo Tabular, a new family of tabular foundation models (TFMs) for classification and regression. If…

Modern transformers pair impressive capabilities with substantial memory and compute demands. Low-rank weight factorizat…

论文分析线性注意力循环状态量化误差在时间与空间维度上的不同影响，提出时空后训练量化框架STEPQuant以降低低精度量化带来的精度损失。

Latent communication passes internal states between language models instead of decoded text, but higher receiver accurac…

EEG foundation models hold promise for scalable brain-signal decoding across clinical and cognitive neuroscience applica…

Large language model (LLM) agents increasingly undertake extreme-long (xlong) horizon tasks, where a single execution ca…

paperclipai 开源的智能体编排控制平面 Paperclip（当日涨星 +2,589、★87,097、MIT）：把 Claude Code、Codex、Cursor 等 agent 变成有职位、汇报线、预算与审批的「公司员工」。拆解心跳执行模型、单指派原子 checkout、MCP 工具网关与任务看门狗，附五个落地场景与可复现命令。

In this tutorial, we build a comprehensive multimodal augmentation and robustness workflow with **AugLy** for images, te…

基于 2026-09-22 独立研究整理：拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护（凭据代理替换 / tainted egress / 审批绕过模型）、Muse Spark 1.3 能力口径（AA 指数 61–62 vs Claude Fable 5.1 的 66）、定价与商业模型、三情景推演与风险矩阵，并给出核心判断——Agent 的天花板由平台开放意愿决定，而非模型智力。

263k 星的「agent harness 操作系统」ECC（当日涨星 837、MIT）：68 子代理/292 技能/94 命令 + instinct 置信度学习 + 跨 harness 适配 + AgentShield 配置安全扫描。拆解五层架构、instinct 闭环与上下文预算取舍，含五个落地场景与可复现命令。

PrismML has released Ternary Bonsai 2 27B, a ternary-weight version of Qwen3.8 27B. The language model occupies 5.93 GB,…

· OpenAI 将定期披露模型异常行为，首批公开 6 份报告 · 华为昇腾 960 提前至明年一季度推出，超节点扩至 4096 卡 · 恒大汽车退出汽车制造，上半年转向电池贸易 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr）…

Video diffusion models repeatedly process long spatiotemporal token sequences during denoising, making attention a major…

GLM已经开始参与构建GLM了]

下篇把前两篇的结论落到可操作层面：先与站内"算子篇"做视角分工对照（工程师证词 vs 厂商证词，共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格）；再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化；随后给出三份清单：给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

Nums AI has released Causilo, a pretrained tabular foundation model for classification and regression with a scikit-lear…

Traditional multimodal representation learning and generation are two stages: a contrastive or self-supervised visual en…

Meta engineering team introduced ZGateway, a proxy tier that now sits between client applications and ZippyDB, the Meta’…

Safety guardrails in open-weight language models can be readily bypassed using Refusal Feature Ablation (RFA), a techniq…

Diffusion Transformers deliver state-of-the-art video generation, but their long spatiotemporal sequences make attention…

Orthrus is a hybrid autoregressive-diffusion architecture that accelerates autoregressive language-model inference by ge…

Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…

We present Cadence, an error-bounded lossy compressor for numeric time series pairing a 330M-parameter time-series found…