推理吞吐的分水岭在批处理调度：静态 batching 为什么浪费（长短请求互相等），continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插，它与 PagedAttention 的共生关系，以及批大小与等待窗口的取舍。

一次智能体响应的延迟由预填充、解码、工具执行与多轮串联构成，本文拆解延迟结构，梳理 prompt 缓存、并行化、语义缓存与推理侧加速四条优化路径，并给出延迟预算分配法。

Together AI 发布 Together Compiler，用 AI 智能体团队自动重写 GPU 代码，开源模型 24 小时内优化、吞吐最高提升 3.7 倍。

大模型价格战的背后（本库《价格战》），站着一条被低估的产业链：推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型，却决定了模型的交付成本，是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图，讲清每一格的手艺与玩家。

把 Prompt 当超参数：拆解 DSPy 的抽象体系与 MIPROv2、OPRO 等优化器的搜索算法，附可跑的优化程序。

「这条 SQL 为什么慢」是后端工程师的高频问题，答案往往藏在索引里：B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。

「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

B+ 树为读优化而生，LSM-Tree 为写优化而生——为什么 Kafka、Cassandra、TiKV、LevelDB 都选择 LSM？写放大、读放大、空间放大的三角权衡，以及 Compaction 的调优之道。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，高通宣布携手阶跃、无量火及江波龙，基于第六代骁龙 8 超级至尊版移动平台，**端侧适配与推理优化阶跃 S…

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

微软发布 Edge 开发者更新，新增软导航等性能指标、JS 自分析标记、WebMCP API 及 OpaqueRange API，帮助开发者优化网页应用性能并让 AI 智能体调用网页能力。

IT之家 9 月 17 日消息，科技媒体 Wccftech 昨日（9 月 16 日）发布博文，报道称在 AI 基础设施峰会上，英伟达展示了面向 AI 工厂的 DSX MaxLPS 功耗调度系统， 每兆瓦 token 吞吐量最高提升 40%。…

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

IT之家 9 月 15 日消息，苹果今日向 iPhone 和 iPad 用户推送了 iOS / iPadOS 27.0 更新（内部版本号：24A437）。 iOS 27 迎来多项性能优化，包括应用启动、显示照片、网络切换、AirDrop、硬…

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

不是每个请求都值得用旗舰模型：路由的三种形态（级联、训练 router、规则路由）、误路由的隐性成本、回退链设计与成本核算，一篇算清模型路由的账。

同样是发文件，普通路径要 4 次拷贝 2 次系统调用，Kafka 却能在一台普通机器上把消费速率顶到网卡极限——差距就在零拷贝。本篇算清 read+write 的完整拷贝账单，讲透 sendfile 与 SG-DMA 的两档进化、splice 与 mmap 的取舍，以及 nginx 与 TLS 时代的现实约束。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会中，微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理，**开发者可在云端…

传统 RAG 的体验是「等待—出结果」：检索完才生成、生成完才展示。流式 RAG 改变了这个节奏：检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式（渐进式检索、流式生成与流式 UI）、延迟优化策略，以及「让用户在等待中看到进展」的体验设计。

PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统，复合索引拿到 skip scan，虚拟生成列与 uuidv7 补齐开发者体验，pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析，梳理升级实操与行为变化，给出可执行的升级建议。

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接，数据库会被认证风暴打垮。连接池通过复用连接解决这个问题，但池的参数（大小、超时、空闲回收）设计不当反而成为瓶颈。本文讲清连接池的原理与调优。

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

拆解一次智能体任务的真实账单，分析智能体场景下 input 占比倒挂的消耗结构，给出缓存、路由、批处理三板斧的量化降本路径，并讨论订阅制定价为何容易击穿毛利。

物流业是 AI 的「隐形主场」——预测、路径、仓储机器人十年前就在用算法，大模型的加入改变的是最后一块拼图：与人的交互层。把三层改造讲清，物流业 AI 化的真实进度条就有了刻度。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

IT之家 11 月 11 日消息，**AMD 今天（11 月 11 日）发布霄龙（EPYC）嵌入式 9006 系列 SP7 处理器**，基于 Zen 6 架构，最高可达 256 核 512 线程，率先在嵌入式平台落地 PCIe Gen6、C…

checkpoint 是训练容错的核心机制：存档里除了权重还有优化器状态、数据进度与随机数状态；同步保存的显存搬运代价，分布式分片保存与恢复重排，保存频率的算术，以及异步与增量的工程方向。

CPU 的优化机制被武器化了：本篇通俗拆解 Meltdown 的乱序泄漏原理、KPTI 页表隔离的实现与代价、Spectre 的 retpoline 与微码缓解，并给出性能观测口径、云上责任边界与关缓解的风险清单。

🧠曝特努斯要求加快 AI 研发，推动 Siri 主动处理任务 📱苹果称超 10 万款应用已适配 iPhone Duo 💾英伟达 1140 万美元货物被盗 💵Anthropic 拟于本周启动 IPO 路演 🚀马斯克：SpaceX 明…

「大促要多少台机器？」——容量规划是每个架构师的必答题。从业务目标（PV/UV）到技术指标（QPS），从单机压测到资源推算，从余量设计到成本优化——容量规划是「把业务翻译成机器」的工程学。

「压测一下」在推理服务上远比传统服务复杂：压什么指标（TTFT/吞吐）、怎么模拟真实流量（长度分布）、用什么工具（vLLM benchmark、k6、自研）。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位，以及压测报告的正确打开方式。

千卡训练的每一秒，GPU 之间都在交换海量数据——传统 TCP 网络撑不住，RDMA 与 GPUDirect 让数据「绕过 CPU 直接进出显存」。本篇拆解 AI 集群通信的分层（NVLink→RDMA→TCP）、GPUDirect RDMA 的零拷贝机制、以及网络性能对训练吞吐的决定性影响。

「CUDA 护城河」被提了十年，它到底由什么构成？本篇从底层拆起：CUDA 是语言与运行时，cuDNN/cuBLAS 是优化库，NCCL 是通信库，TensorRT 是编译器——分层拆解每一层的角色，以及生态替代（ROCm/CANN）真实差距所在。

线程池是多线程编程的基础设施：复用线程避免频繁创建销毁的开销，控制并发度防止资源耗尽。但线程池的参数设计（核心线程数、最大线程数、队列类型与长度、拒绝策略）是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。

同一块 GPU 上，prefill 是计算受限的短跑冲刺，decode 是带宽受限的长跑——挤在一起互相拖累，一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离：干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单，以及什么时候该拆、什么时候千万别拆。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。