一次智能体响应的延迟由预填充、解码、工具执行与多轮串联构成，本文拆解延迟结构，梳理 prompt 缓存、并行化、语义缓存与推理侧加速四条优化路径，并给出延迟预算分配法。

KV Cache 让一次推理不用重算历史 token，但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够，能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价，以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。

RAG 一次问答要过检索、重排、生成三道工序，成本与延迟都厚。语义缓存在最前面加一道判断：这个问题以前问过吗——不是字符串相等，而是语义相似。《本文讲清缓存键的三层设计、相似阈值的调法、失效机制的坑，以及权限差异这个最容易被忽略的雷。

多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI，重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量（perf c2c）与消除（对齐填充），并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。

「先更新数据库再删缓存」几乎是每个人的默认写法，但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演，讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛，以及生产环境的组合拳与避坑清单。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

拆解一次智能体任务的真实账单，分析智能体场景下 input 占比倒挂的消耗结构，给出缓存、路由、批处理三板斧的量化降本路径，并讨论订阅制定价为何容易击穿毛利。

Agent 工程系统学习第 11 章：Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治（模型无法在协议层区分指令与数据），给出三层纵深防御（减少注入面 / 最小权限让注入做不了坏事 / 检测止损），OWASP Agentic 2026 风险速览，认证-权限域-资源归属-委托的四层权限模型（L3 与 L4 是重点），多租户隔离清单，以及可执行的 Agent 安全红队清单。

RAG 的回答质量，一半取决于检索，一半取决于提示词。检索到的上下文再好，提示词写得不对，模型照样答非所问。本篇拆解 RAG 提示词的三层结构（system prompt、上下文模板、生成指令），以及「让模型只基于检索内容回答」的约束设计。

LRU 缓存是设计题的鼻祖：get 和 put 都要 O(1)，哈希表和双向链表单独都做不到，组合起来才行。拆解「为什么需要两种结构」、双向链表的实现细节、以及 LRU 思想在 Redis 与操作系统的真实存在。

DNS 是互联网的「电话簿」，也是流量调度最古老、最强大的杠杆。递归与迭代的解析过程、TTL 与缓存的权衡、智能调度的实现（GeoDNS）——以及 DNS 劫持与 DoH 的攻防。

一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速，以及「镜像即部署单元」的版本管理。

O_DIRECT 让 IO 完全绕过 Page Cache，把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界（对齐要求、无预读、无缓存合并）、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧，以及 io_uring 时代 Direct IO 从小众走向主流的转折。

LRU 只看「多久没用」，LFU 还要看「用得多不多」——多出来的这层频率账本，让 O(1) 的设计难度陡增。本文从朴素方案的瓶颈推到「频率桶 + 双向链表」的双字典结构，逐段讲透驱逐与晋升的每一步，最后用本地测试跑通边界用例，顺带看看 Redis 是怎么把这套思想塞进 24 个比特的。

LRU 缓存要求 get 与 put 都做到 O(1)，单靠哈希表或单靠链表都做不到。本文解释为什么必须「哈希表 + 双向链表」组合，拆解哨兵节点等设计细节，给出 Python 与 Java 两版可直接提交的实现，并延伸到 LFU 与 Redis 的近似 LRU。

Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

提出通过测试时训练学习文档级紧凑KV缓存，在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。

缓存集群从 10 台扩到 11 台，取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步，把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体，以及工程落地清单。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

RAG 把外部内容拼进 prompt，等于亲手打开了指令与数据的边界：恶意文档可以借「检索」进入上下文操纵模型（间接提示注入），污染语料可以直接扭曲答案（语料投毒）。本文讲清两类攻击的机制与真实形态、防护的纵深组合，以及「检索内容永远当数据」这条核心纪律。

为什么同一段对话，用对 chat template 的模型表现天差地别？对话模型的一切行为都由一张「模板」定义：角色标记、特殊 token、系统提示的位置。本篇拆解 chat template 的结构、各家模板的差异、它如何决定「模型以为自己在跟谁说话」，以及微调与应用时最容易踩的模板坑。

IT之家 9 月 17 日消息，低功耗 FPGA 企业 Lattice（莱迪思）当地时间昨日宣布推出 FPGA 开发 AI 辅助工具 Radiant、安全控制 FPGA 新品系列 Mach-N2。 Prompt 以 Lattice 经过验证…

Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…

单日涨星破千的老牌项目迎来第二春：三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image；comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型；执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

IT之家 10 月 2 日消息，Chiphell 论坛用户 @灵乌路空 9 月 28 日分享了一款 AMD Socket AM4 平台处理器工程样品的信息。 该处理器代号 "100-000000652"，属于 "Zen 3" 微架构的 "V…

system prompt 是很多 AI 产品的核心机密——但它就写在每次请求的开头。泄露攻击的形态、防御手段的失效边界、以及「假设会泄露」的架构设计——保护提示词的正确姿势，是不把它当秘密。

「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

编译器与 CPU 都会重排内存操作，MESI 缓存一致性并不等于内存顺序——这就是无锁代码「单线程对、多线程偶坏」的根源。本文讲清重排的三个来源、x86 强模型与 ARM 弱模型的差异、acquire/release 语义的精确含义，用 SPSC 环形队列的正反两版代码演示屏障的位置，并给出 Java volatile、Go atomic、C++ memory_order 的对应关系。

「这个元素我见过吗？」——这个问题哈希表要用全部 key 的内存来回答，布隆过滤器只需要每元素不到 10 个 bit：它可能把没见过的说成见过（1% 概率），但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除，以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

Agent 工程系统学习第 3 章：上下文工程取代 prompt engineering 成为核心技能。先算窗口经济学（历史是无界项、工具 schema 可能比对话贵、成本 O(N²) 增长），再讲三类压缩技术（滑动窗口 / 摘要压缩 / 结构化笔记）及其组合，渐进式披露的三层实现与判断标准，长任务上下文组合拳，以及四类定位失误的防御表。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

文婷* 2026-09-29 15:59:46 来源：量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 别眨眼。** 星空下，一辆白橙色的反重力赛车如利刃出鞘，猛地切进弯道，丝滑拐弯，在赛道上拖拽出一道道冰蓝光带，溅起金黄色的摩…

Oct 8, 2026 Nano Banana Pro prompted by THE DECODER Key Points A chain of vulnerabilities in Amazon's Bedrock AgentCore …

Google has released Gemini 3.8 Flash TTS and Gemini 3.8 Flash-Lite TTS, 2 new text-to-speech models in its Gemini Audio …

Video generation begins in text space by authoring a cinematic screenplay, then materializes into pixels. As contemporar…

Text-guided image editing must introduce the requested changes while preserving unrelated source content. Diffusion-base…

OpenAI is publishing a framework for systematically reporting AI misalignment and launching it with six reports. In one …

Training prompts in online reinforcement learning (RL) differ substantially in how informative they are for the current …

Large language model (LLM)-based multi-agent systems (MAS) achieve strong performance by employing specialized multiple …

On-policy distillation (OPD) accelerates post-training by providing dense token-level supervision from a frozen teacher …

每次发版重启都像一次「小规模故障」——正在处理的请求、注册中心的实例状态、缓存的预热、消息的消费位点——优雅停机就是把这每一个细节都管理起来。从信号处理到流量摘除，这是一份重启不发事故的细节清单。

无状态的 serverless、有状态的常驻进程、代码执行的隔离沙箱与延迟敏感的边缘推理，构成智能体部署的四种形态，本文从任务时长、会话状态与缓存命中率等维度比较它们的工程权衡。

分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」：定时比对、差异发现、修复闭环。拆解对账系统的设计：对什么、怎么对、发现差异怎么办。

几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题：下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案（直连下载、镜像仓库、P2P 分发与本地缓存）、冷启动优化的衔接、以及分发管线的工程纪律。

每次上网的第一步都是 DNS——把域名翻译成 IP。这个每秒承载全球查询的系统，靠的是分层委托与激进缓存。本篇拆解 DNS 的层级结构、递归与迭代的分工、TTL 与缓存的行为、记录类型的含义，以及劫持、污染与「DNS 慢」的排查思路。

sk_buff 是内核网络栈的通用货币：一个结构体串起从驱动到协议栈到 socket 的全部路径。本文拆解它的线性数据区与缓冲区头尾指针设计、clone 与 copy 的区别、各层协议头如何被依次剥掉，并算清一次收发的真实成本账（内存分配、拷贝次数、缓存行），解释 GRO/TSO 为什么靠「攒大包」来摊薄这份成本。