搜索:Cache

共命中 50 条(服务端检索)
KV Cache 与高效注意力:长上下文的内存经济学
长上下文不是把窗口开大就行:KV Cache 随序列长度线性膨胀,很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案(MQA/GQA/MLA)、稀疏与线性注意力的路线,以及「上下文长度」宣传数字背后的真实约束。
研究前沿 精选 · 原创 · 11-3 阅读 87·访客 87
操作系统内功 · 第 4 篇|文件系统与 Page Cache:fsync 到底向你承诺了什么
2018 年 PostgreSQL 社区发现 Linux 可能在 fsync 返回成功后丢掉报错、让下一次 fsync 假成功——fsyncgate 事件把「fsync 承诺什么」逼到了台前。本篇从 VFS 与 Page Cache 讲到脏页回写、ext4 日志、fsyncgate 完整始末与 O_DIRECT 双缓冲之争。
后端技术 精选 · 原创 · 10-26 阅读 181·访客 180
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,271·访客 1,228
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 1,385·访客 1,377
BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design
The key-value (KV) cache dominates memory capacity and bandwidth in long-context LLM serving. While 4-bit microscaling f…
大模型 HuggingFace Daily Papers · 11-6 阅读 3·访客 3
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch…
行业动态 HuggingFace Daily Papers · 11-4 阅读 16·访客 16
操作系统内功 · 第 22 篇|O_DIRECT:绕过 Page Cache 的得与失——数据库为什么自管缓存
O_DIRECT 让 IO 完全绕过 Page Cache,把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界(对齐要求、无预读、无缓存合并)、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧,以及 io_uring 时代 Direct IO 从小众走向主流的转折。
后端技术 精选 · 原创 · 11-3 阅读 100·访客 100
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 738·访客 710
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 464·访客 460
DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency
Autoregressive video diffusion supports streaming generation and interactive control, but its KV cache grows continuousl…
行业动态 HuggingFace Daily Papers · 10-5 阅读 37·访客 37
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术 精选 · 原创 · 10-24 阅读 112·访客 110
Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
开源项目 MarkTechPost · 11-13 阅读 29·访客 29
RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
RidgeFill shortens prefill by not computing most of a model's upper layers for the prompt. The lower layers run exactly …
行业动态 HuggingFace Daily Papers · 11-6 阅读 18·访客 18
OpenAI's isolated AI agents found ways to talk to each other through CPU cache
Oct 24, 2026 Nano Banana Pro prompted by THE DECODER Key Points After a security incident in September, OpenAI now train…
智能体 The Decoder · 10-24 阅读 79·访客 79
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-base…
智能体 HuggingFace Daily Papers · 9-29 阅读 92·访客 89
In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion
Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generatin…
行业动态 HuggingFace Daily Papers · 9-26 阅读 32·访客 32
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
The widespread adoption of long-horizon agents has made model workloads increasingly input-heavy. Although prior work ha…
智能体 HuggingFace Daily Papers · 9-17 阅读 126·访客 124
BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
Large Reasoning Models (LRMs) achieve superior problem-solving through extended Chain-of-Thought (CoT) generation, but t…
研究前沿 HuggingFace Daily Papers · 9-4 阅读 34·访客 33
TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models
Decoder-only Large View Synthesis Models (LVSMs) with KV-cache have recently achieved state-of-the-art quality by regres…
行业动态 HuggingFace Daily Papers · 11-12 阅读 11·访客 11
操作系统内功 · 第 45 篇|readahead 预读:页缓存读路径的启发式与 posix_fadvise
顺序读慢不一定是盘慢,多半是预读没开对。本文拆解内核预读窗口的扩张与收缩启发式,讲透 posix_fadvise 各档建议与 vm.read_ahead_kb 的正确调法,并给出备份、数据库场景可直接落地的清单。
后端技术 精选 · 原创 · 11-10 阅读 84·访客 84
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型 精选 · 原创 · 11-9 阅读 62·访客 62
操作系统内功 · 第 44 篇|tmpfs 与 /dev/shm:内存文件系统的用途与陷阱
PostgreSQL 容器起不来报 64MB 不够、df 看到的 /dev/shm 凭空占了一半内存、Redis 放 tmpfs 后内存翻倍——tmpfs 的坑都源于「它既是文件系统又是内存」。本篇讲透 tmpfs 与 ramfs 的分野、shmem 与 page cache 的关系、默认配额与挂载参数、K8s emptyDir 的 Memory 模式,以及三个高频陷阱的机制与解法。
后端技术 精选 · 原创 · 11-5 阅读 80·访客 80
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型 精选 · 原创 · 11-4 阅读 50·访客 50
操作系统内功 · 第 17 篇|mmap:内存映射的工程账本——文件映射、匿名映射与共享的边界
mmap 是理解 Linux 内存管理的枢纽:文件映射把 Page Cache 变成你的指针,匿名映射是 malloc 大块内存的底层真相,MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权,并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。
后端技术 精选 · 原创 · 11-3 阅读 93·访客 93
操作系统内功 · 第 21 篇|脏页回写与 writeback:write 返回之后、磁盘落盘之前发生了什么
write 成功不代表数据在磁盘上——它只进了 Page Cache,真正落盘由内核 writeback 机制异步完成。本文讲清脏页的产生、per-BDI 回写线程的触发条件(水位/时间/sync)、vm.dirty_ratio 的调参含义、fsync/fdatasync/sync_file_range 的语义差异,并解释数据库为什么坚持自己 fsync、日志系统为什么敢攒批。
后端技术 精选 · 原创 · 11-3 阅读 94·访客 94
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型 精选 · 原创 · 10-24 阅读 177·访客 162
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,066·访客 1,061
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV Cache 让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界 精选 · 原创 · 10-8 阅读 776·访客 759
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 423·访客 422
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术 精选 · 原创 · 10-6 阅读 1,036·访客 1,026
vLLM 与 PagedAttention:把 GPU 显存当操作系统内存管
多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目 精选 · 原创 · 10-6 阅读 589·访客 587
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型 精选 · 原创 · 10-6 阅读 896·访客 876
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV Cache,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
大模型 精选 · 原创 · 10-6 阅读 560·访客 560
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV Cache。
一叶一世界 精选 · 原创 · 10-6 阅读 570·访客 566
SparseEngine: Sparse-First Inference Engine
Long-context LLM agents accumulate interaction histories that strain KV-cache memory and attention computation. Although…
智能体 HuggingFace Daily Papers · 9-30 阅读 85·访客 85
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
When agentic sessions run to a million tokens with many sessions resident at once, the KV cache and the index that ranks…
智能体 HuggingFace Daily Papers · 9-15 阅读 78·访客 76
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…
智能体 HuggingFace Daily Papers · 9-8 阅读 82·访客 82
LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…
大模型 HuggingFace Daily Papers · 9-7 阅读 35·访客 35
操作系统内功 · 第 108 篇|kprobes 与 kretprobes:内核动态插桩
kprobes 能把任意内核函数变成观测点:注册时把目标指令换成断点,命中后执行 pre_handler、单步执行指令副本、再跑 post_handler,kretprobe 则用 trampoline 调包返回地址测函数耗时。本文拆解命中全流程、maxactive 池与漏抓计数、ftrace 与 bpftrace 两条现代通道和黑名单安全区。
后端技术 精选 · 用户投稿 · 2天前 阅读 21·访客 21
操作系统内功 · 第 82 篇|dcache 与 inode 缓存:ls 为什么越跑越快
第二次 ls 几乎瞬间完成,功劳在 dcache 与 inode 缓存。本文拆解路径解析的逐段行走、dentry 的哈希表与 LRU 组织、RCU-walk 无锁快路径、negative dentry 缓存「不存在」的收益与代价,配 slabtop 与 python 实验观测命中率,并用 drop_caches 抖动与容器内核内存两个现场收束。
后端技术 精选 · 用户投稿 · 2天前 阅读 11·访客 11
操作系统内功 · 第 99 篇|perf 采样内幕:PEBS 与调用栈还原
perf 报告里每条热点都是一次硬件计数器溢出采样,而采样准不准取决于两件事:事件快照由中断抓还是 PEBS 硬件抓(skid 问题),以及调用栈靠 fp、dwarf 还是 LBR 还原。这篇从 PMU 计数器讲到精确采样与栈还原的取舍,并用 skid 误导与伪共享两个现场说明「报告说什么」和「真相是什么」的距离。
后端技术 精选 · 用户投稿 · 2天前 阅读 8·访客 8
Video RAG:关键帧、字幕与多模态时间线
视频知识密度最高却最难检索:没有目录页、不能全文搜、找一个操作演示只能拖进度条。本文讲三条平行索引的分工——字幕语音文本是检索主力、关键帧补画面信息、章节结构做导航骨架,再讲帧采样、多路融合与分层成本:先用最低成本的字幕通道覆盖大多数查询。
后端技术 精选 · 原创 · 3天前 阅读 25·访客 25
智能体生态观察 · 第 53 篇|主动式智能体:从一问一答到订阅式持续服务
触发权从人转移到机器,是智能体产品的一次范式转移。本文梳理定时、事件、阈值与模型自主四类触发机制的误报成本,拆解主动服务的三要素,并讨论骚扰与信任的经济学边界。
智能体 精选 · 原创 · 3天前 阅读 16·访客 16
ACL 同步:权限变更如何传播到索引
查询时按权限过滤只解决一半问题,另一半是权限变更的传播:收回权限的瞬间,索引里的旧 ACL 仍在放行。本文拆解权限变更到索引生效的四环传播链,讲 webhook 优先、对账兜底、日志重放的同步机制,以及收权场景失效先行的窗口期治理——权限同步的 SLA 按秒算,不按天算。
后端技术 精选 · 原创 · 3天前 阅读 21·访客 21
OpenAI Releases GPT-6.2 Astra and Sol With a 20% Cheaper Astra API
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 4天前 阅读 27·访客 27
寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。 寒武纪官方宣布,**已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配**。 据介绍,该模型通过 L…
智能体 IT之家 · 4天前 阅读 25·访客 25
Alibaba's Qwen4-Max takes on Opus 5.5, GPT-6, and Kimi K3.1 Pro at much lower prices
Nov 16, 2026 Key Points Alibaba launched Qwen4-Max, whose revamped architecture processes long texts more efficiently an…
大模型 The Decoder · 5天前 阅读 32·访客 32
Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 5天前 阅读 8·访客 8
Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 6天前 阅读 31·访客 30
MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos
Streaming video generation must sustain quality beyond the training horizon while handling self-generated history and gr…
行业动态 HuggingFace Daily Papers · 6天前 阅读 5·访客 5