AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
Cache
共命中 50 条(服务端检索)
KV
Cache
与高效注意力:长上下文的内存经济学
长上下文不是把窗口开大就行:KV
Cache
随序列长度线性膨胀,很快压过模型权重成为显存大头。本篇拆解 KV
Cache
的来历与账单、多头注意力的三代瘦身方案(MQA/GQA/MLA)、稀疏与线性注意力的路线,以及「上下文长度」宣传数字背后的真实约束。
研究前沿
精选
· 原创 · 11-3
阅读 87
·
访客 87
操作系统内功 · 第 4 篇|文件系统与 Page
Cache
:fsync 到底向你承诺了什么
2018 年 PostgreSQL 社区发现 Linux 可能在 fsync 返回成功后丢掉报错、让下一次 fsync 假成功——fsyncgate 事件把「fsync 承诺什么」逼到了台前。本篇从 VFS 与 Page
Cache
讲到脏页回写、ext4 日志、fsyncgate 完整始末与 O_DIRECT 双缓冲之争。
后端技术
精选
· 原创 · 10-26
阅读 181
·
访客 180
KV
Cache
争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV
Cache
都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV
Cache
的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型
精选
· 用户投稿 · 10-9
阅读 1,271
·
访客 1,228
一篇读懂 KV
Cache
:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV
cache
的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界
精选
· 原创 · 10-8
阅读 1,385
·
访客 1,377
BitDecoding-FP4: Native FP4 KV
Cache
Decoding via Algorithm-System Co-Design
The key-value (KV)
cache
dominates memory capacity and bandwidth in long-context LLM serving. While 4-bit microscaling f…
大模型
HuggingFace Daily Papers · 11-6
阅读 3
·
访客 3
LowRAM: Low-Rank Keys and Amortised Values for Composable KV
Cache
Compression at Test-Time
Autoregressive decoding relies on the KV
cache
, whose memory footprint grows linearly with context length and caps batch…
行业动态
HuggingFace Daily Papers · 11-4
阅读 16
·
访客 16
操作系统内功 · 第 22 篇|O_DIRECT:绕过 Page
Cache
的得与失——数据库为什么自管缓存
O_DIRECT 让 IO 完全绕过 Page
Cache
,把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界(对齐要求、无预读、无缓存合并)、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧,以及 io_uring 时代 Direct IO 从小众走向主流的转折。
后端技术
精选
· 原创 · 11-3
阅读 100
·
访客 100
MLA 深度解析:DeepSeek 把 KV
Cache
压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型
精选
· 原创 · 10-9
阅读 738
·
访客 710
一篇读懂 KV
Cache
:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV
Cache
正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV
Cache
显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界
精选
· 原创 · 10-6
阅读 464
·
访客 460
DeCoPrune: Efficient KV-
Cache
Pruning for Autoregressive Video Diffusion via Denoising Consistency
Autoregressive video diffusion supports streaming generation and interactive control, but its KV
cache
grows continuousl…
行业动态
HuggingFace Daily Papers · 10-5
阅读 37
·
访客 37
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清
Cache
-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术
精选
· 原创 · 10-24
阅读 112
·
访客 110
Google Releases TPU Sync: Open-Source KV
Cache
Transfer for TPUs
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
开源项目
MarkTechPost · 11-13
阅读 29
·
访客 29
RidgeFill: Training-Free Late-Layer
Cache
Fill for Faster Prefill
RidgeFill shortens prefill by not computing most of a model's upper layers for the prompt. The lower layers run exactly …
行业动态
HuggingFace Daily Papers · 11-6
阅读 18
·
访客 18
OpenAI's isolated AI agents found ways to talk to each other through CPU
cache
Oct 24, 2026 Nano Banana Pro prompted by THE DECODER Key Points After a security incident in September, OpenAI now train…
智能体
The Decoder · 10-24
阅读 79
·
访客 79
Prefill-Free Cross-Family KV
Cache
Transfer for Heterogeneous Multi-Agent LLMs
Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-base…
智能体
HuggingFace Daily Papers · 9-29
阅读 92
·
访客 89
In-Flight KV
Cache
with Clean Anchors for Faster Autoregressive Video Diffusion
Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generatin…
行业动态
HuggingFace Daily Papers · 9-26
阅读 32
·
访客 32
DeepSeek-V4.1-Flash: Pushing the Limits of KV
Cache
Compression
The widespread adoption of long-horizon agents has made model workloads increasingly input-heavy. Although prior work ha…
智能体
HuggingFace Daily Papers · 9-17
阅读 126
·
访客 124
BeaconKV: Key-Value
Cache
Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference
Large Reasoning Models (LRMs) achieve superior problem-solving through extended Chain-of-Thought (CoT) generation, but t…
研究前沿
HuggingFace Daily Papers · 9-4
阅读 34
·
访客 33
TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models
Decoder-only Large View Synthesis Models (LVSMs) with KV-
cache
have recently achieved state-of-the-art quality by regres…
行业动态
HuggingFace Daily Papers · 11-12
阅读 11
·
访客 11
操作系统内功 · 第 45 篇|readahead 预读:页缓存读路径的启发式与 posix_fadvise
顺序读慢不一定是盘慢,多半是预读没开对。本文拆解内核预读窗口的扩张与收缩启发式,讲透 posix_fadvise 各档建议与 vm.read_ahead_kb 的正确调法,并给出备份、数据库场景可直接落地的清单。
后端技术
精选
· 原创 · 11-10
阅读 84
·
访客 84
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、
cache
-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型
精选
· 原创 · 11-9
阅读 62
·
访客 62
操作系统内功 · 第 44 篇|tmpfs 与 /dev/shm:内存文件系统的用途与陷阱
PostgreSQL 容器起不来报 64MB 不够、df 看到的 /dev/shm 凭空占了一半内存、Redis 放 tmpfs 后内存翻倍——tmpfs 的坑都源于「它既是文件系统又是内存」。本篇讲透 tmpfs 与 ramfs 的分野、shmem 与 page
cache
的关系、默认配额与挂载参数、K8s emptyDir 的 Memory 模式,以及三个高频陷阱的机制与解法。
后端技术
精选
· 原创 · 11-5
阅读 80
·
访客 80
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV
Cache
怎么办」这个独有难题。
大模型
精选
· 原创 · 11-4
阅读 50
·
访客 50
操作系统内功 · 第 17 篇|mmap:内存映射的工程账本——文件映射、匿名映射与共享的边界
mmap 是理解 Linux 内存管理的枢纽:文件映射把 Page
Cache
变成你的指针,匿名映射是 malloc 大块内存的底层真相,MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权,并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。
后端技术
精选
· 原创 · 11-3
阅读 93
·
访客 93
操作系统内功 · 第 21 篇|脏页回写与 writeback:write 返回之后、磁盘落盘之前发生了什么
write 成功不代表数据在磁盘上——它只进了 Page
Cache
,真正落盘由内核 writeback 机制异步完成。本文讲清脏页的产生、per-BDI 回写线程的触发条件(水位/时间/sync)、vm.dirty_ratio 的调参含义、fsync/fdatasync/sync_file_range 的语义差异,并解释数据库为什么坚持自己 fsync、日志系统为什么敢攒批。
后端技术
精选
· 原创 · 11-3
阅读 94
·
访客 94
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV
cache
怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型
精选
· 原创 · 10-24
阅读 177
·
访客 162
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV
cache
与自定义 mask。
大模型
精选
· 原创 · 10-9
阅读 1,066
·
访客 1,061
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV
Cache
让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界
精选
· 原创 · 10-8
阅读 776
·
访客 759
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV
Cache
,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目
精选
· 原创 · 10-7
阅读 423
·
访客 422
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV
Cache
、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术
精选
· 原创 · 10-6
阅读 1,036
·
访客 1,026
vLLM 与 PagedAttention:把 GPU 显存当操作系统内存管
多请求并发时 KV
Cache
的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目
精选
· 原创 · 10-6
阅读 589
·
访客 587
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV
Cache
显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型
精选
· 原创 · 10-6
阅读 896
·
访客 876
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV
Cache
,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
大模型
精选
· 原创 · 10-6
阅读 560
·
访客 560
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV
Cache
。
一叶一世界
精选
· 原创 · 10-6
阅读 570
·
访客 566
SparseEngine: Sparse-First Inference Engine
Long-context LLM agents accumulate interaction histories that strain KV-
cache
memory and attention computation. Although…
智能体
HuggingFace Daily Papers · 9-30
阅读 85
·
访客 85
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV
Cache
s
When agentic sessions run to a million tokens with many sessions resident at once, the KV
cache
and the index that ranks…
智能体
HuggingFace Daily Papers · 9-15
阅读 78
·
访客 76
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
The KV
cache
is a primary bottleneck for Transformer decoding: its memory footprint and
cache
-read traffic grow with seq…
智能体
HuggingFace Daily Papers · 9-8
阅读 82
·
访客 82
LatentPort: Beyond KV
Cache
- Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…
大模型
HuggingFace Daily Papers · 9-7
阅读 35
·
访客 35
操作系统内功 · 第 108 篇|kprobes 与 kretprobes:内核动态插桩
kprobes 能把任意内核函数变成观测点:注册时把目标指令换成断点,命中后执行 pre_handler、单步执行指令副本、再跑 post_handler,kretprobe 则用 trampoline 调包返回地址测函数耗时。本文拆解命中全流程、maxactive 池与漏抓计数、ftrace 与 bpftrace 两条现代通道和黑名单安全区。
后端技术
精选
· 用户投稿 · 2天前
阅读 21
·
访客 21
操作系统内功 · 第 82 篇|d
cache
与 inode 缓存:ls 为什么越跑越快
第二次 ls 几乎瞬间完成,功劳在 d
cache
与 inode 缓存。本文拆解路径解析的逐段行走、dentry 的哈希表与 LRU 组织、RCU-walk 无锁快路径、negative dentry 缓存「不存在」的收益与代价,配 slabtop 与 python 实验观测命中率,并用 drop_
cache
s 抖动与容器内核内存两个现场收束。
后端技术
精选
· 用户投稿 · 2天前
阅读 11
·
访客 11
操作系统内功 · 第 99 篇|perf 采样内幕:PEBS 与调用栈还原
perf 报告里每条热点都是一次硬件计数器溢出采样,而采样准不准取决于两件事:事件快照由中断抓还是 PEBS 硬件抓(skid 问题),以及调用栈靠 fp、dwarf 还是 LBR 还原。这篇从 PMU 计数器讲到精确采样与栈还原的取舍,并用 skid 误导与伪共享两个现场说明「报告说什么」和「真相是什么」的距离。
后端技术
精选
· 用户投稿 · 2天前
阅读 8
·
访客 8
Video RAG:关键帧、字幕与多模态时间线
视频知识密度最高却最难检索:没有目录页、不能全文搜、找一个操作演示只能拖进度条。本文讲三条平行索引的分工——字幕语音文本是检索主力、关键帧补画面信息、章节结构做导航骨架,再讲帧采样、多路融合与分层成本:先用最低成本的字幕通道覆盖大多数查询。
后端技术
精选
· 原创 · 3天前
阅读 25
·
访客 25
智能体生态观察 · 第 53 篇|主动式智能体:从一问一答到订阅式持续服务
触发权从人转移到机器,是智能体产品的一次范式转移。本文梳理定时、事件、阈值与模型自主四类触发机制的误报成本,拆解主动服务的三要素,并讨论骚扰与信任的经济学边界。
智能体
精选
· 原创 · 3天前
阅读 16
·
访客 16
ACL 同步:权限变更如何传播到索引
查询时按权限过滤只解决一半问题,另一半是权限变更的传播:收回权限的瞬间,索引里的旧 ACL 仍在放行。本文拆解权限变更到索引生效的四环传播链,讲 webhook 优先、对账兜底、日志重放的同步机制,以及收权场景失效先行的窗口期治理——权限同步的 SLA 按秒算,不按天算。
后端技术
精选
· 原创 · 3天前
阅读 21
·
访客 21
OpenAI Releases GPT-6.2 Astra and Sol With a 20% Cheaper Astra API
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型
MarkTechPost · 4天前
阅读 27
·
访客 27
寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。 寒武纪官方宣布,**已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配**。 据介绍,该模型通过 L…
智能体
IT之家 · 4天前
阅读 25
·
访客 25
Alibaba's Qwen4-Max takes on Opus 5.5, GPT-6, and Kimi K3.1 Pro at much lower prices
Nov 16, 2026 Key Points Alibaba launched Qwen4-Max, whose revamped architecture processes long texts more efficiently an…
大模型
The Decoder · 5天前
阅读 32
·
访客 32
Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态
MarkTechPost · 5天前
阅读 8
·
访客 8
Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型
MarkTechPost · 6天前
阅读 31
·
访客 30
MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos
Streaming video generation must sustain quality beyond the training horizon while handling self-generated history and gr…
行业动态
HuggingFace Daily Papers · 6天前
阅读 5
·
访客 5