「先更新数据库再删缓存」几乎是每个人的默认写法，但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演，讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛，以及生产环境的组合拳与避坑清单。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

Autoregressive video diffusion supports streaming generation and interactive control, but its KV cache grows continuousl…

Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-base…

Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generatin…

The widespread adoption of long-horizon agents has made model workloads increasingly input-heavy. Although prior work ha…

Large Reasoning Models (LRMs) achieve superior problem-solving through extended Chain-of-Thought (CoT) generation, but t…

同一块 GPU 上，prefill 是计算受限的短跑冲刺，decode 是带宽受限的长跑——挤在一起互相拖累，一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离：干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单，以及什么时候该拆、什么时候千万别拆。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

Humans effortlessly react to the world; they adeptly return a tennis shot, catch a falling cup, step aside from a passin…

KV Cache 让一次推理不用重算历史 token，但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够，能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价，以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

Long-context LLM agents accumulate interaction histories that strain KV-cache memory and attention computation. Although…

When agentic sessions run to a million tokens with many sessions resident at once, the KV cache and the index that ranks…

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…

Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

当日涨星 906 的知识图谱项目：代码用本地 tree-sitter AST 零 LLM 额度建图，文档/图片才走语义趟；52 文件混合语料单次查询 token 降 71.5 倍，LOCOMO recall@10 0.497，每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。

单日涨星 829 的 MIT 开源 ADE：95,314 星的 Orca 以 worktree-per-task 做隔离，用三层共享路径让干净 checkout 可用，用 Run/Task/Dispatch/Message/Decision gate 把多智能体协调写成有权威来源的状态机，并以九条件准入休眠压住内存成本。

Oct 15, 2026 Nano Banana Pro prompted by THE DECODER Key Points Nvidia has released Nemotron 3.5 Super VL, an open multi…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

提出通过测试时训练学习文档级紧凑KV缓存，在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。

论文提出StreamErase，通过将双向基础模型的擦除能力迁移到单向流式生成器，在单张GPU上实现最高26 FPS、亚秒级延迟的流式视频物体移除。

铭芯启睿宣布完成基于1TnR技术路线、采用28nm CMOS工艺的1Gb容量RRAM芯片流片，密度达30Mb/mm²，访问延时小于20ns，目前正推进验证。

提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并给出可求解的谱闭式解，在token级稀疏注意力中兼顾选择精度与解码延迟，降低长上下文LLM解码中占主导的KV缓存流量。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Manuel Uth Oct 11, 2026 Nano Banana Pro prompted by THE DECODER Results from Epoch AI and Anthropic show that AI models …

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

论文提出分块流式几何基础模型 Drive3R，通过分块因果注意力解决自动驾驶长序列多视图3D重建中GPU内存与全局注意力二次复杂度的瓶颈。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Astral（Ruff 团队）用 Rust 写的 uv，一个二进制替代 pip、venv、pyenv、Poetry、pipx 等一串工具：官方基准快 10 到 100 倍、通用锁文件、Cargo 式工作区。本文讲清它的快从哪来、锁文件与工作区机制、2026 年的采用现状，以及迁移时真正会踩的坑。

从取模分片的痛点讲起：普通哈希为什么一扩容就让几乎全部数据搬家；哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜；再用可运行的对照代码，对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。

智谱、MiniMax 年初上市后深度回撤，DeepSeek 与月之暗面带着新技术与新融资竞速 IPO，通义与豆包以生态碾压单点。本文以可核实数据梳理 2026 年国产大模型的资本座次、技术路线分化与商业化三条路。

闻乐* 2026-10-09 15:11:55 来源：量子位 答不答得对，得看Token站位 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。 同一道题，什么都没改，只在前面多塞…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。