搜索:KV

共命中 50 条(服务端检索)
KV Cache 与高效注意力:长上下文的内存经济学
长上下文不是把窗口开大就行:KV Cache 随序列长度线性膨胀,很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案(MQA/GQA/MLA)、稀疏与线性注意力的路线,以及「上下文长度」宣传数字背后的真实约束。
研究前沿 精选 · 原创 · 11-3 阅读 87·访客 87
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,271·访客 1,228
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 1,385·访客 1,377
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 464·访客 460
llama.cpp 发布 1.0.0:首个稳定 API 版本,移除 35 个废弃函数并新增 FP8 KV 缓存
11 月 13 日发布 v1.0.0:公共 C API 遵循 SemVer、移除 35 个废弃函数、新增 FP8 KV 缓存,本地推理生态迎来稳定基座。
开源项目 Hugging Face Blog · 11-14 阅读 44·访客 44
BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design
The key-value (KV) cache dominates memory capacity and bandwidth in long-context LLM serving. While 4-bit microscaling f…
大模型 HuggingFace Daily Papers · 11-6 阅读 3·访客 3
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch…
行业动态 HuggingFace Daily Papers · 11-4 阅读 16·访客 16
Latent Compaction:基于测试时训练的KV缓存压缩方法
提出通过测试时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 45·访客 45
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 738·访客 710
DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency
Autoregressive video diffusion supports streaming generation and interactive control, but its KV cache grows continuousl…
行业动态 HuggingFace Daily Papers · 10-5 阅读 37·访客 37
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
When agentic sessions run to a million tokens with many sessions resident at once, the KV cache and the index that ranks…
智能体 HuggingFace Daily Papers · 9-15 阅读 78·访客 76
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…
智能体 HuggingFace Daily Papers · 9-8 阅读 82·访客 82
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV Cache 让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界 精选 · 原创 · 10-8 阅读 776·访客 759
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型 精选 · 原创 · 10-6 阅读 896·访客 876
Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
开源项目 MarkTechPost · 11-13 阅读 29·访客 29
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-base…
智能体 HuggingFace Daily Papers · 9-29 阅读 92·访客 89
Draft-KV: Learning Useful Latent Communication Between Language Models
Latent communication passes internal states between language models instead of decoded text, but higher receiver accurac…
行业动态 HuggingFace Daily Papers · 9-28 阅读 38·访客 38
In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion
Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generatin…
行业动态 HuggingFace Daily Papers · 9-26 阅读 32·访客 32
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
Diffusion Large Language Models (dLLMs) have recently emerged as a promising alternative to autoregressive LLMs by enabl…
大模型 HuggingFace Daily Papers · 9-22 阅读 31·访客 31
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
The widespread adoption of long-horizon agents has made model workloads increasingly input-heavy. Although prior work ha…
智能体 HuggingFace Daily Papers · 9-17 阅读 126·访客 124
LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…
大模型 HuggingFace Daily Papers · 9-7 阅读 35·访客 35
TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models
Decoder-only Large View Synthesis Models (LVSMs) with KV-cache have recently achieved state-of-the-art quality by regres…
行业动态 HuggingFace Daily Papers · 11-12 阅读 11·访客 11
多模态推理的基础设施:VL 模型服务化的特殊工程
视觉语言模型(VLM)的服务化与纯文本模型不同:图像的预处理管线、多模态 KV 的显存压力、请求的异构性(图+文的组合)。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。
大模型 精选 · 原创 · 11-4 阅读 57·访客 57
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型 精选 · 原创 · 11-4 阅读 50·访客 50
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态 精选 · 原创 · 11-3 阅读 69·访客 68
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型 精选 · 原创 · 10-24 阅读 177·访客 162
JSSA:面向高效长上下文解码的联合子空间稀疏注意力
提出联合子空间稀疏注意力(JSSA),通过学习共享低维查询-键子空间并给出可求解的谱闭式解,在token级稀疏注意力中兼顾选择精度与解码延迟,降低长上下文LLM解码中占主导的KV缓存流量。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 42·访客 42
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,066·访客 1,061
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 732·访客 647
SGLang 深拆:vLLM 赢了内存管理之后,它接着打的下一仗
PagedAttention 解决了「KV 内存怎么分页」,但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制,再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距,以及上手要点。
开源项目 精选 · 原创 · 10-8 阅读 594·访客 566
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 423·访客 422
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术 精选 · 原创 · 10-6 阅读 1,036·访客 1,026
vLLM 与 PagedAttention:把 GPU 显存当操作系统内存管
多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目 精选 · 原创 · 10-6 阅读 589·访客 587
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV Cache,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
大模型 精选 · 原创 · 10-6 阅读 560·访客 560
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV Cache。
一叶一世界 精选 · 原创 · 10-6 阅读 570·访客 566
QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching
Multi-Head Latent Attention (MLA) enables expressive multi-head attention with compact caches for its content and decoup…
行业动态 HuggingFace Daily Papers · 9-30 阅读 28·访客 27
SparseEngine: Sparse-First Inference Engine
Long-context LLM agents accumulate interaction histories that strain KV-cache memory and attention computation. Although…
智能体 HuggingFace Daily Papers · 9-30 阅读 85·访客 85
罗福莉官宣小米 MiMo-V3 采用全新架构,核心 HySparse 2 今日发布
IT之家 9 月 23 日消息,小米 MiMo 大模型负责人罗福莉今日发文,宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布,带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M(100 万)…
大模型 IT之家 · 9-23 阅读 42·访客 42
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(上)· 事件切片与技术解剖
2026 年 9 月 17 日,唐杰与 GLM 团队披露:GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上,参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化,不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇,只做两件事:复盘事件的五个关键时点,以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移(上游 PR #1180)、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条,并附同业坐标对照表。全系列共三篇:上篇讲技术,中篇做 RSI 分级定位与七组数字的口径核查,下篇谈边界、风险与行动清单。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 137·访客 135
智能体生态观察 · 第 49 篇|容量规划与弹性伸缩:智能体服务的流量画像
给智能体做容量规划,等于同时给入口、推理、上游三套系统做。本篇拆解三层资源画像与瓶颈如何互相掩护、容量账的四个输入指标,以及预热、池化、降级等伸缩策略;结论是 SLO 的一半在上游手里。
智能体 精选 · 原创 · 3天前 阅读 29·访客 29
RAG 产品化:从内部工具到对外服务的跃迁
内部好用的 RAG 与能卖钱的 RAG 产品之间隔着租户、SLA、计费、合规四道墙。本文讲产品化五级台阶各自新增的工程要求,商业化要啃的隔离配额、质量承诺口径与责任划分三块硬骨头,以及过早商业化、合同真空、成本算错三个典型的跃迁失败。
后端技术 精选 · 原创 · 3天前 阅读 30·访客 29
视觉检索:以图搜图与截图问答
文本检索永远够不着架构图与 UI 截图。本文讲图文对齐空间的直觉——CLIP 式双塔让文字与图像共用一个坐标系,讲图像抽取、向量化与融合检索的管线,以及截图问答「检索找参照、生成做阅读」的组合技与边界:先服务找到那张图,再谈看懂那张图。
后端技术 精选 · 原创 · 3天前 阅读 26·访客 26
寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。 寒武纪官方宣布,**已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配**。 据介绍,该模型通过 L…
智能体 IT之家 · 4天前 阅读 25·访客 25
商汤发布 SenseNova Loop-9B 模型:部署显存需求低至 10 GB 内
IT之家 11 月 17 日消息,商汤科技今天(17 日)晚间正式发布 SenseNova Loop-9B 模型。 该模型**延续了 Preview 版本对参数效率的探索**:通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mH…
智能体 IT之家 · 5天前 阅读 8·访客 8
MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos
Streaming video generation must sustain quality beyond the training horizon while handling self-generated history and gr…
行业动态 HuggingFace Daily Papers · 6天前 阅读 5·访客 5
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
Efficient batch execution of agent tasks is critical to LLM training and development workflows, including benchmark eval…
智能体 HuggingFace Daily Papers · 11-12 阅读 7·访客 7
GPU 集群的容量规划:从卡时到业务增长
容量规划是把业务增长翻译成 GPU 卡时的算术:从 QPS 与 token 数换算卡数的完整链路,利用率目标的排队论悖论,峰值与均值的错峰策略,采购交付与租赁的组合,以及表格化的滚动规划方法。
大模型 精选 · 原创 · 11-11 阅读 57·访客 57
推理服务的多模型混部:显存与算力的共享调度
一张 GPU 同时服务多个模型的现实诉求与技术路线:多实例共享、LoRA 热加载、权重热切换、MIG 硬切分与时分复用各自的隔离与代价,干扰毛刺的成因,以及什么场景值得混部、什么场景不该省这个钱。
大模型 精选 · 原创 · 11-11 阅读 56·访客 56
一篇读懂 continuous batching:推理吞吐的批处理艺术
推理吞吐的分水岭在批处理调度:静态 batching 为什么浪费(长短请求互相等),continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插,它与 PagedAttention 的共生关系,以及批大小与等待窗口的取舍。
一叶一世界 精选 · 原创 · 11-11 阅读 83·访客 81
Google Unveils TPU 8i Max and TPU 8tx: A Dual-Chip TPU and a Confidential TPU
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 11-10 阅读 21·访客 21