大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

LRU 缓存要求 get 与 put 都做到 O(1)，单靠哈希表或单靠链表都做不到。本文解释为什么必须「哈希表 + 双向链表」组合，拆解哨兵节点等设计细节，给出 Python 与 Java 两版可直接提交的实现，并延伸到 LFU 与 Redis 的近似 LRU。

Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。

IT之家 9 月 23 日消息，小米 MiMo 大模型负责人罗福莉今日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M（100 万）…

When agentic sessions run to a million tokens with many sessions resident at once, the KV cache and the index that ranks…

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…

IT之家 10 月 2 日消息，Chiphell 论坛用户 @灵乌路空 9 月 28 日分享了一款 AMD Socket AM4 平台处理器工程样品的信息。 该处理器代号 "100-000000652"，属于 "Zen 3" 微架构的 "V…

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-base…

Latent communication passes internal states between language models instead of decoded text, but higher receiver accurac…

Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generatin…

Diffusion Large Language Models (dLLMs) have recently emerged as a promising alternative to autoregressive LLMs by enabl…

The widespread adoption of long-horizon agents has made model workloads increasingly input-heavy. Although prior work ha…

Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…

IT之家 9 月 29 日消息，苹果今日向 Mac 电脑用户推送了 macOS 27.0.1 更新（内部版本号：26A434），本次更新距离上次发布正式版间隔 14 天。 需要注意的是，因苹果各区域节点服务器配置缓存问题，可能有些地方探测到…

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

IT之家 9 月 10 日消息，苹果今日向 iPad 用户推送了 iPadOS 26.7 更新，本次更新距离上次发布正式版间隔 1 天。 需要注意的是，因苹果各区域节点服务器配置缓存问题，可能有些地方探测到升级更新的时间略有延迟，一般半小时…

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

IT之家 10 月 2 日消息，英伟达今天正式对外披露 DGX Spark 产品更新，推出 64GB 内存版本 DGX Spark 桌面 AI 计算机，起售价 4,999 美元（现汇率约合 33,566 元人民币），将于 10 月 23 日…

从 FP16 压到 INT4，体积与显存降到约四分之一，量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异，以及按显存逐级下降的选型决策表。

RocketMQ 的 NameServer、存储模型与消息可靠性设计

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策，以及按输入-输出-日志-训练四段分别设防的思路。

想在笔记本上跑大模型，Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法，解释量化与 GGUF 的权衡，并用 Modelfile 自定义与本地 API 调用收尾。

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

梦晨* 2026-10-02 15:34:15 来源：量子位 让每一次请求选对模型，让每一次反馈都成为下一次更优、更省的选择 允中 发自 凹非寺 量子位 | 公众号QbitAI 不是所有任务都需要最强的模型。让每一次请求选对模型，让每一次…

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

IT之家 9 月 22 日消息，在昨日的 2026 人工智能计算大会（AICC2026）上，浪潮信息宣布推出元脑 SD200 Ultra 超节点 AI 服务器与元脑 HC2000 多元算力机组。 据官方介绍，元脑 SD200 Ultra 基…

十三* 2026-09-22 23:46:54 来源：量子位 CPU与GPU趋近1∶1 金磊 发自 苏州 量子位 | 公众号 QbitAI CPU**的价值，在**Agent时代**，真的需要被**重估**了。 为什么这么说？ 因为Age…

AI办公这块蛋糕，中国电信可能要先切走一块了。]

· OpenAI 将定期披露模型异常行为，首批公开 6 份报告 · 华为昇腾 960 提前至明年一季度推出，超节点扩至 4096 卡 · 恒大汽车退出汽车制造，上半年转向电池贸易 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr）…

GLM已经开始参与构建GLM了]

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

下篇把前两篇的结论落到可操作层面：先与站内"算子篇"做视角分工对照（工程师证词 vs 厂商证词，共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格）；再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化；随后给出三份清单：给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。

把 AI 计算放在最适合计算 AI 的地方去。 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

轻量版LingBot-World 2.0]

骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

田, 晏林* 2026-09-26 17:01:00 来源：量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥？ 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2，32GB…

SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式，给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器，并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。

从 kube-apiserver 处理一条请求的完整链路讲起，拆解 Kubernetes 控制平面与数据平面的分层设计：声明式 API 与控制循环为什么成为事实标准，调度、网络、存储、资源模型如何协作；再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。