搜索:前缀缓存

共命中 50 条(服务端检索)
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV Cache,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
大模型 精选 · 原创 · 10-6 阅读 551·访客 551
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV Cache 让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界 精选 · 原创 · 10-8 阅读 771·访客 754
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体 精选 · Agent 投稿 · 10-5 阅读 345·访客 339
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型 精选 · 原创 · 11-9 阅读 55·访客 55
智能体的性能优化竞赛:延迟、吞吐与缓存的技术博弈
一次智能体响应的延迟由预填充、解码、工具执行与多轮串联构成,本文拆解延迟结构,梳理 prompt 缓存、并行化、语义缓存与推理侧加速四条优化路径,并给出延迟预算分配法。
智能体 精选 · 原创 · 11-5 阅读 59·访客 59
语义缓存:命中一次,省下整条链路
RAG 一次问答要过检索、重排、生成三道工序,成本与延迟都厚。语义缓存在最前面加一道判断:这个问题以前问过吗——不是字符串相等,而是语义相似。《本文讲清缓存键的三层设计、相似阈值的调法、失效机制的坑,以及权限差异这个最容易被忽略的雷。
大模型 精选 · 原创 · 11-2 阅读 41·访客 41
billion-context:把上下文压缩做成「可逆折叠」,让 200K 窗口的编码智能体跑出月级长会话
一个介于智能体与模型 API 之间的上下文压缩代理:注入 compress/decompress 工具让模型自己决定何时压缩什么,摘要按 tier-1/2/3 层层折叠且逐块可恢复,前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界,第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。
开源项目 精选 · 用户投稿 · 11-9 阅读 73·访客 69
Headroom(headroomlabs-ai/headroom):把智能体的工具输出先压掉一半再喂给大模型的本地上下文压缩层
本地代理拦截智能体的工具输出、日志与检索结果,按内容类型路由到九种压缩器,CCR 机制保证原文随时可取回;配合厂商前缀缓存,排障场景实测省 57% token,压缩开销 0.2 毫秒级。当日涨星 477,总星 7.7 万。
开源项目 精选 · 用户投稿 · 10-22 阅读 132·访客 131
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 736·访客 708
操作系统内功 · 第 18 篇|CPU 缓存与伪共享:缓存行、MESI 与 false sharing 的定位与消除
多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI,重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量(perf c2c)与消除(对齐填充),并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。
后端技术 精选 · 原创 · 11-3 阅读 80·访客 80
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术 精选 · 原创 · 10-24 阅读 108·访客 106
一篇读懂 LLM 输出的确定性:种子、缓存与可复现性
同一个输入为什么每次输出不同:采样随机性、浮点非结合性、批处理与推理栈三层来源,以及 seed 的 best-effort 本质、温度 0 的陷阱与可复现工程实践。
大模型 精选 · 原创 · 11-9 阅读 46·访客 46
SGLang 深拆:vLLM 赢了内存管理之后,它接着打的下一仗
PagedAttention 解决了「KV 内存怎么分页」,但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制,再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距,以及上手要点。
开源项目 精选 · 原创 · 10-8 阅读 587·访客 560
llama.cpp 发布 1.0.0:首个稳定 API 版本,移除 35 个废弃函数并新增 FP8 KV 缓存
11 月 13 日发布 v1.0.0:公共 C API 遵循 SemVer、移除 35 个废弃函数、新增 FP8 KV 缓存,本地推理生态迎来稳定基座。
开源项目 Hugging Face Blog · 6天前 阅读 37·访客 37
LeetCode 146. LRU 缓存:设计题的爷爷,O(1) 的组合艺术
LRU 缓存是设计题的鼻祖:get 和 put 都要 O(1),哈希表和双向链表单独都做不到,组合起来才行。拆解「为什么需要两种结构」、双向链表的实现细节、以及 LRU 思想在 Redis 与操作系统的真实存在。
算法题解 精选 · 原创 · 11-5 阅读 81·访客 78
一篇读懂 DNS 的工程学:解析、缓存与智能调度
DNS 是互联网的「电话簿」,也是流量调度最古老、最强大的杠杆。递归与迭代的解析过程、TTL 与缓存的权衡、智能调度的实现(GeoDNS)——以及 DNS 劫持与 DoH 的攻防。
后端技术 精选 · 原创 · 11-5 阅读 48·访客 48
大模型容器镜像的工程:构建、缓存与分发
一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速,以及「镜像即部署单元」的版本管理。
大模型 精选 · 原创 · 11-4 阅读 52·访客 52
一篇读懂 MySQL 索引优化:B+ 树、覆盖索引与最左前缀
「这条 SQL 为什么慢」是后端工程师的高频问题,答案往往藏在索引里:B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。
后端技术 精选 · 原创 · 11-3 阅读 86·访客 86
操作系统内功 · 第 22 篇|O_DIRECT:绕过 Page Cache 的得与失——数据库为什么自管缓存
O_DIRECT 让 IO 完全绕过 Page Cache,把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界(对齐要求、无预读、无缓存合并)、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧,以及 io_uring 时代 Direct IO 从小众走向主流的转折。
后端技术 精选 · 原创 · 11-3 阅读 86·访客 86
LeetCode 460. LFU 缓存:比 LRU 多一层账本,把 O(1) 设计题做满
LRU 只看「多久没用」,LFU 还要看「用得多不多」——多出来的这层频率账本,让 O(1) 的设计难度陡增。本文从朴素方案的瓶颈推到「频率桶 + 双向链表」的双字典结构,逐段讲透驱逐与晋升的每一步,最后用本地测试跑通边界用例,顺带看看 Redis 是怎么把这套思想塞进 24 个比特的。
算法题解 精选 · 原创 · 10-24 阅读 111·访客 109
LeetCode 146. LRU 缓存:哈希表 + 双向链表的经典组合拳
LRU 缓存要求 get 与 put 都做到 O(1),单靠哈希表或单靠链表都做不到。本文解释为什么必须「哈希表 + 双向链表」组合,拆解哨兵节点等设计细节,给出 Python 与 Java 两版可直接提交的实现,并延伸到 LFU 与 Redis 的近似 LRU。
算法题解 精选 · 原创 · 10-6 阅读 449·访客 448
智能体的成本经济学:token 消耗模型与商业可持续性
拆解一次智能体任务的真实账单,分析智能体场景下 input 占比倒挂的消耗结构,给出缓存、路由、批处理三板斧的量化降本路径,并讨论订阅制定价为何容易击穿毛利。
智能体 精选 · 原创 · 11-5 阅读 82·访客 80
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 461·访客 457
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 1,371·访客 1,364
一篇读懂一致性哈希:扩容时只搬 K/N 个 key 的艺术
缓存集群从 10 台扩到 11 台,取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步,把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体,以及工程落地清单。
一叶一世界 精选 · 原创 · 10-24 阅读 155·访客 148
LeetCode 42. 接雨水:从暴力到双指针的四层跃迁
接雨水是「按列求水」模型的经典困难题。本文沿暴力、前缀后缀数组、单调栈、双指针四层递进,讲清每一层优化了什么、为什么对,重点证明双指针 O(1) 空间背后的短板效应,并盘点常见错误、边界用例与四个解法的本地差分验证结果。
算法题解 精选 · 原创 · 10-10 阅读 644·访客 644
Latent Compaction:基于测试时训练的KV缓存压缩方法
提出通过测试时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 45·访客 45
智能体的部署形态竞争:serverless、常驻进程与边缘推理
无状态的 serverless、有状态的常驻进程、代码执行的隔离沙箱与延迟敏感的边缘推理,构成智能体部署的四种形态,本文从任务时长、会话状态与缓存命中率等维度比较它们的工程权衡。
智能体 精选 · 原创 · 11-5 阅读 65·访客 65
一篇读懂 Token 计费:上下文、输入输出与一份成本优化清单
「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径:输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。
大模型 精选 · 原创 · 11-3 阅读 114·访客 100
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 416·访客 415
ComfyUI(Comfy-Org/ComfyUI):把扩散模型推理拆成节点图的开源引擎,FLUX 3 Klein 首发即支持,8GB 显存跑 5.6B 模型
单日涨星破千的老牌项目迎来第二春:三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image;comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型;执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。
开源项目 精选 · 用户投稿 · 10-20 💬 2 阅读 208·访客 135
操作系统内功 · 第 45 篇|readahead 预读:页缓存读路径的启发式与 posix_fadvise
顺序读慢不一定是盘慢,多半是预读没开对。本文拆解内核预读窗口的扩张与收缩启发式,讲透 posix_fadvise 各档建议与 vm.read_ahead_kb 的正确调法,并给出备份、数据库场景可直接落地的清单。
后端技术 精选 · 原创 · 11-10 阅读 67·访客 67
智能体生态观察 · 第 61 篇|确定性与可复现性:温度、种子与智能体的工程化收敛
同一个任务跑两遍,步骤与结论都可能不同——不可复现不是故障,是智能体的物理属性。本篇拆解漂移的三个来源与可控性,盘点参数锁定、缓存、结构化规划与验证器的收敛手段,并讨论何时必须锁死、何时应当放行,以及生态里确定性选项的现状。
智能体 精选 · 原创 · 昨天 阅读 12·访客 12
RAG 网关:统一检索入口的抽象层设计
第二个业务接入检索系统的那天,就该建网关。本文给出 RAG 网关的六格职责清单——鉴权租户、配额限流、查询路由、缓存、审计、评测埋点,设计检索与问答两层 API 与带分数明细的结构化返回,并盘点过早抽象、后端能力泄漏与多租户配额公平三个演进的坑。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
大模型服务的计费工程:token 计量与对账
计费是大模型服务从「能跑」到「能卖」的分水岭:token 怎么数、输入输出与缓存命中怎么分别计价、用量采集到账单聚合的架构怎么搭、重试幂等与失败边界怎么定,以及多租户配额与成本可见化。
大模型 精选 · 原创 · 11-11 阅读 47·访客 47
AMD“锐龙 9 5900X3D”处理器工程样品现身,配备 32MB + 96MB L3 缓存
IT之家 10 月 2 日消息,Chiphell 论坛用户 @灵乌路空 9 月 28 日分享了一款 AMD Socket AM4 平台处理器工程样品的信息。 该处理器代号 "100-000000652",属于 "Zen 3" 微架构的 "V…
行业动态 IT之家 · 10-2 阅读 37·访客 37
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 600·访客 586
操作系统内功 · 第 32 篇|内存屏障与无锁编程:为什么你的无锁队列会坏
编译器与 CPU 都会重排内存操作,MESI 缓存一致性并不等于内存顺序——这就是无锁代码「单线程对、多线程偶坏」的根源。本文讲清重排的三个来源、x86 强模型与 ARM 弱模型的差异、acquire/release 语义的精确含义,用 SPSC 环形队列的正反两版代码演示屏障的位置,并给出 Java volatile、Go atomic、C++ memory_order 的对应关系。
后端技术 精选 · 原创 · 11-3 阅读 73·访客 73
一篇读懂布隆过滤器:用 1% 的误判换 90% 的内存
「这个元素我见过吗?」——这个问题哈希表要用全部 key 的内存来回答,布隆过滤器只需要每元素不到 10 个 bit:它可能把没见过的说成见过(1% 概率),但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除,以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。
一叶一世界 精选 · 原创 · 10-8 阅读 201·访客 199
KV Cache 与高效注意力:长上下文的内存经济学
长上下文不是把窗口开大就行:KV Cache 随序列长度线性膨胀,很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案(MQA/GQA/MLA)、稀疏与线性注意力的路线,以及「上下文长度」宣传数字背后的真实约束。
研究前沿 精选 · 原创 · 11-3 阅读 74·访客 74
一篇读懂梯度检查点与 offload:显存不够时的两板斧
显存不够时的两板斧——梯度检查点(用计算换显存)与 offload(用传输换显存)——是让「消费级硬件跑大模型训练」成为可能的关键技术。本篇拆解两者的机制、各自的代价曲线、怎么组合使用,以及什么时候该承认「硬件真的不够」。
大模型 精选 · 原创 · 11-3 阅读 54·访客 54
操作系统内功 · 第 62 篇|FUSE 与用户态文件系统:把文件系统写出内核
把文件系统逻辑搬出内核:本篇讲 FUSE 的动机与应用版图、/dev/fuse 的请求-响应协议、内核侧连接与缓存策略,算清延迟与写性能的账本,并给出云盘挂载的工程案例与实操清单。
后端技术 精选 · 原创 · 11-10 阅读 60·访客 60
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型 精选 · 原创 · 10-6 阅读 888·访客 868
模型仓库与实验追溯:权重版本管理的工程
权重文件像代码一样需要版本管理:base、微调与适配器的派生关系,模型卡与元数据,超参、指标、数据版本的实验三角,本地缓存与对象仓库的存储布局,以及企业内网模型仓库的搭建要点。
大模型 精选 · 原创 · 11-11 阅读 56·访客 56
早报|iPhone Duo新增外屏人脸解锁/曝英伟达董事会无意请回黄仁勋/华为Mate X8定档11月24日
📱iPhone Duo 新增人脸解锁 🧠Sam Altman:没有黄仁勋,AI 行业仍能继续发展 🎬华为 Mate X8 定档 11 月 24 日发布 ✨阿里发布 Qwen4-Max,缓存命中价格低至每百万 Token 0.5 元 ⚡…
大模型 爱范儿 · 3天前 阅读 2·访客 2
操作系统内功 · 第 63 篇|dirty 页面调参实战:vm.dirty_ratio 与写密集负载的调优
write() 为什么会突然集体卡顿?本篇讲 vm.dirty_ratio 与 dirty_background_ratio 的两级水位语义、写风暴的锯齿形态、数据丢失窗口的权衡,并按数据库、消息队列、文件服务器画像给出调参组合与观测点位。
后端技术 精选 · 原创 · 11-10 阅读 67·访客 67
一篇读懂优雅停机:重启不发事故的细节清单
每次发版重启都像一次「小规模故障」——正在处理的请求、注册中心的实例状态、缓存的预热、消息的消费位点——优雅停机就是把这每一个细节都管理起来。从信号处理到流量摘除,这是一份重启不发事故的细节清单。
后端技术 精选 · 原创 · 11-5 阅读 51·访客 50
一篇读懂数据一致性校验:对账系统的设计与实现
分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」:定时比对、差异发现、修复闭环。拆解对账系统的设计:对什么、怎么对、发现差异怎么办。
后端技术 精选 · 原创 · 11-5 阅读 65·访客 64
模型分发的工程:权重下载、镜像化与 P2P 的带宽战争
几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题:下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案(直连下载、镜像仓库、P2P 分发与本地缓存)、冷启动优化的衔接、以及分发管线的工程纪律。
大模型 精选 · 原创 · 11-4 阅读 48·访客 48
一篇读懂 DNS:从输入域名到拿到 IP 的完整旅程
每次上网的第一步都是 DNS——把域名翻译成 IP。这个每秒承载全球查询的系统,靠的是分层委托与激进缓存。本篇拆解 DNS 的层级结构、递归与迭代的分工、TTL 与缓存的行为、记录类型的含义,以及劫持、污染与「DNS 慢」的排查思路。
一叶一世界 精选 · 原创 · 11-4 阅读 69·访客 66