一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来，向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线：标量量化降精度、PQ 降基数、二值化极限压缩，各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。

malloc 返回的指针为什么「立刻可用」却几乎不花时间？一台 64GB 机器为什么能 mmap 500GB 的文件？本篇拆解虚拟内存这台「期望兑现机器」：四级页表的层级与开销、缺页中断的完整旅程、TLB 与大页的经济学，以及 THP 与 MGLRU 这对自动化与性能的恩怨。

骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

看 GPU 规格表，带宽那行数字比 FLOPS 更能决定大模型推理的快慢——HBM 用「立体堆叠 + 超宽接口」两个动作，把内存带宽做到了同代 DDR 的十几倍。本文拆解 HBM 的原理、四代演进、良率与封装的难点，以及它为什么既是 AI 芯片的标配，又是整条产业链最紧的瓶颈。

IT之家 10 月 5 日消息，随着内存成本持续上涨，微软正将“降低 Windows 11 内存占用”列为 2026 年剩余时间的重要工作之一。 微软 Windows 与设备业务负责人帕万 · 达武卢里（Pavan Davuluri）在官方…

IT之家 10 月 2 日消息，英伟达今天正式对外披露 DGX Spark 产品更新，推出 64GB 内存版本 DGX Spark 桌面 AI 计算机，起售价 4,999 美元（现汇率约合 33,566 元人民币），将于 10 月 23 日…

RSS 缓慢上涨、堆剖析却查不到泄漏，最后被 OOM killer 一枪带走——这类事故的根源常常不是泄漏，而是分配器的碎片化。本篇从内核的伙伴系统讲到 SLUB，再对比 ptmalloc、tcmalloc、jemalloc 三国志，把 OOM killer 的判决逻辑和 overcommit 的三种姿势一次讲透。

IT之家 10 月 11 日消息，微软美国官网显示，Surface Laptop Ultra 笔记本 128GB 统一内存、1TB SSD 配置已经缺货，该产品定价 5,899.99 美元（IT之家注：现汇率约合 39,570 元人民币），…

「这个元素我见过吗？」——这个问题哈希表要用全部 key 的内存来回答，布隆过滤器只需要每元素不到 10 个 bit：它可能把没见过的说成见过（1% 概率），但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除，以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

IT之家 9 月 15 日消息，苹果今日向 iPhone 和 iPad 用户推送了 iOS / iPadOS 27.0 更新（内部版本号：24A437）。 iOS 27 迎来多项性能优化，包括应用启动、显示照片、网络切换、AirDrop、硬…

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

微软发布 Edge 开发者更新，新增软导航等性能指标、JS 自分析标记、WebMCP API 及 OpaqueRange API，帮助开发者优化网页应用性能并让 AI 智能体调用网页能力。

IT之家 10 月 13 日消息，市场调查机构 CounterPoint Research 昨日（10 月 12 日）发布博文，报告称由于持续的内存短缺，影响全球大多数 OEM 厂商出货，**导致 2026 年第三季度全球智能手机出货量同比…

IT之家 10 月 12 日消息，微软今天正式发布 Maia 300 人工智能芯片。这款产品配备 288GB HBM4 内存，带宽达到 18TB/s，FP4 算力可达 13.8 PFLOPS，基于台积电 N2P 制程工艺打造，计划 2027…

由于 DDR5 内存条过于昂贵，上一代的 DDR4 内存条再次回归。技嘉宣布将于 2027 年初上市支持 DDR4 内存的新的 Intel LGA 1700 主板，而今年八月技嘉宣布推出了支持 DDR4 内存的新 AMD AM4 主板。DD…

PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统，复合索引拿到 skip scan，虚拟生成列与 uuidv7 补齐开发者体验，pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析，梳理升级实操与行为变化，给出可执行的升级建议。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

IT之家 10 月 8 日消息，微软中国商城今天（10 月 8 日）上架 Surface Laptop Ultra，**共有亮铂金和夜幕色两种颜色，起售价为 21,988 元，128GB 内存顶配售价为 48,388 元。** 官方介绍如下…

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

IT之家 10 月 7 日消息，《韩国经济日报》当地时间今日报道称，三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA（英伟达）和主要超大规模数据中心企业的质量验证测试，**各客户的供货量、合同规模、出货时…

马斯克表示特斯拉 AI5 芯片不再采用 72GB LPDDR5 内存，而是改用 96GB 内存，此前因内存供货紧张曾削减内存规格，AI5 芯片已完成流片，将用于自动驾驶与 Optimus 人形机器人业务。

IT之家 9 月 26 日消息，科技媒体 MacRumors 昨日（9 月 25 日）发布博文，报道称其撰稿人 Aaron Perris 通过挖掘苹果公司代码，**发现 iPad 12 将配备 A19 芯片、8GB 内存、N1 网络芯片和 …

IT之家 9 月 10 日消息，苹果 iPhone 18 Pro 系列手机今日正式发布，官方没有提到新机的内存容量，不过据 MacRumors 今日报道，在最新版本的 Xcode 27 中，苹果已透露了这一信息。 iPhone 18 Pro…

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

Java 的 STW、Go 的并发标记、Python 的引用计数加循环回收——同一句「自动内存管理」背后是两套完全不同的世界观。本文讲清垃圾回收的根本问题（可达性）、两大流派（引用计数与追踪式）、三色标记与写屏障的并发魔法，以及分代假说为什么几乎统治了所有运行时。

论文提出分析内存单元（AMU），为智能体共享内存中的缓存结果附加完整派生（血缘）图谱，仅在请求者对涉及的所有列均有权限时才返回命中，以防止敏感数据经合法计算结果泄露，并证明该策略按构造可阻断此类检索。

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

Agent 工程系统学习第 12 章：把 Agent 规模化。讲 Agent 服务的三个"最"（最长连接/最长任务/最有状态）与容量预估框架，用 Redis Stream 消费者组把执行从 API 进程拿出来（XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条），模型路由与熔断降级层次，成本治理五层（埋点/账本/配额/优化/看板）与 fail-open/fail-closed 语义，以及配置级灰度发布流程。

微软举办特别发布会，推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra（2599.99 美元起，1 petaflop AI 性能），官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro（M5 Pro），并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。

从 WWDC26 初亮相，到 8 个 Beta 版一路“打怪升级”，iOS 27 终于在 9 月 15 日转正上岗了， 苹果在昨天向广大 iPhone 用户推送 iOS 27 正式版更新 。 历经 iOS 27 这几个 Beta 版体验下来…

一次 RAG 请求到底花多少钱？查询向量化几乎免费，检索只要几厘，生成环节却吃掉九成账单。本文把成本拆成一次性入库与每次请求两栏，给出各环节的量级估算方法与七个省钱杠杆，以及一条先砍生成、再调检索的平衡框架，帮你把预算花在真正影响账单的地方。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

RAG 一次问答要过检索、重排、生成三道工序，成本与延迟都厚。语义缓存在最前面加一道判断：这个问题以前问过吗——不是字符串相等，而是语义相似。《本文讲清缓存键的三层设计、相似阈值的调法、失效机制的坑，以及权限差异这个最容易被忽略的雷。

GPU 很贵，但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车，把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线，以及为什么它成了 AI 集群的标配。

单日涨星 829 的 MIT 开源 ADE：95,314 星的 Orca 以 worktree-per-task 做隔离，用三层共享路径让干净 checkout 可用，用 Run/Task/Dispatch/Message/Decision gate 把多智能体协调写成有权威来源的状态机，并以九条件准入休眠压住内存成本。

IT之家 10 月 12 日消息，AMD 当地时间今日正式发布了基于锐龙 AI Max+ PRO 495 处理器的新一代锐龙 AI Halo 开发者平台。 相比初代设备，新产品 CPU、GPU、NPU 性能均有改进。而最为关键的是，**其支…

华为宣布 DevEco Studio 上线鸿蒙 PC 并开启公测，DevEco Code 与 DevEco CLI 同步首次公测，要求 HarmonyOS 7.0.0.107 及以上、16GB 内存等条件。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会上，英伟达发布 DGX Station for Windows，**定位为桌面级 AI 超级计算机，…

NVIDIA 新卡发布的节奏，很多时候不是被 4nm 产线决定的，而是被台积电一项叫 CoWoS 的 2.5D 封装产能决定的——它把 GPU 裸片和 HBM 并排装进同一个封装。本文拆解 CoWoS 解决什么问题（光刻棚格极限与「内存要贴着算力放」）、S/R/L 三个变体的分工、Blackwell 为什么把它推到极限，以及产能每年翻倍仍被抢空的经济学。