70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

从 FP16 压到 INT4，体积与显存降到约四分之一，量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异，以及按显存逐级下降的选型决策表。

自回归解码每步只出一个 token，GPU 大量算力在等显存。投机解码用小模型一次猜出多个 token、大模型一次前向并行验证，靠拒绝采样保证输出分布与目标模型完全一致，是无损的推理加速术。本文讲清它的原理、加速比来源与适用边界。

想在笔记本上跑大模型，Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法，解释量化与 GGUF 的权衡，并用 Modelfile 自定义与本地 API 调用收尾。

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

LLM 流量与普通 API 流量差异巨大：响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测，并给出关键设计要点。

RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

KV Cache 让一次推理不用重算历史 token，但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够，能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价，以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。

Ollama 负责本地推理，Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程：官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关（v0.11 已改名），以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。

骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。

选模型 API 的本质是选供给关系，不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图，逐条展开七项评估清单，并给中小团队一条从网关起步的务实路线。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

「小爱同学」到回答只有两秒，中间站着五道流水线工位：唤醒词、VAD、流式 ASR、LLM、TTS，外加最难的一道暗桩——打断处理。本文按延迟账拆解每道工位的职责、模型选型与失败模式，算清为什么端侧语音助手的优化是一张接力棒时刻表。

骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

Ollama 负责本地推理，Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程：官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关（v0.11 已改名），以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。

想在笔记本上跑大模型，Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法，解释量化与 GGUF 的权衡，并用 Modelfile 自定义与本地 API 调用收尾。

苹果在 WWDC 发布 Apple Intelligence，采用端侧小模型 + 私有云计算的分层架构，深度整合系统级写作、图像与 Siri 升级，强调隐私保护。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

推理模型改写了提示词的规则——OpenAI 官方文档明确写着「避免思维链提示」「通常不需要 few-shot 示例」；Anthropic 则把叙事重心移交给了「上下文工程」。提示工程死了吗？没有，它收缩了：从话术技巧收缩成「先建评估、再写规格、管好上下文」的工程实践。本文以三家官方文档为一手依据，对照出仍然有效的技巧清单、官方明确说可以省掉的技巧，以及实证研究给出的边界。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

「GPT 比 Claude 高 20 分」是怎么算出来的？Elo 等级分用一场对局的期望胜率换算积分涨跌，Bradley-Terry 模型再把它升级成全量数据的联合估计——Chatbot Arena 2023 年底悄悄完成了这次换引擎。本文拆解两代算法的数学，以及排行榜置信区间的正确读法。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

Agent 工程系统学习第 10 章：可观测性让任何一次 Agent 行为都可事后完整还原。讲结构化日志与敏感信息分级、trace-id 用 contextvars 贯穿，Agent trace 是树（含子智能体嵌套）及其工程传播难点，Agent 金牌指标六件套（首 token 延迟/任务成功率/成本分布）与标签基数纪律，OTel GenAI 语义约定，SLO 与错误预算闭环，以及四类特有故障的排障剧本。

8 张 GPU 卡的需求、只有 5 张的库存，AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型（ClusterQueue/LocalQueue/Cohort）、准入状态机、公平共享与抢占机制，给出生产落地建议。

GPU 在 Kubernetes 里是「整数个的扩展资源」，一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工，对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景，并展望 1.34 起 GA 的 DRA 会怎么改玩法。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。

从 kube-apiserver 处理一条请求的完整链路讲起，拆解 Kubernetes 控制平面与数据平面的分层设计：声明式 API 与控制循环为什么成为事实标准，调度、网络、存储、资源模型如何协作；再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。

K8s 官方 SIG Apps 沙箱编排项目的完整拆解与落地指南：Sandbox/Template/WarmPool/Claim 四件套的 CRD 模型与认领数据流、休眠与到期回收的生命周期设计、默认拒绝的托管网络策略与 Sandbox Router 原理，附预热池实测性能账本（突发 300 claims/s @ p90≤200ms）、调优旋钮与从安装、模板化、SDK 接入到生产检查清单的全流程实施路径。

以 kubernetes-sigs/agent-sandbox v1.0.4（API 全量 v1beta1）为准，给出从既有平台接入 K8s 官方沙箱标准的完整架构方案：先厘清"编排器 vs 运行时"这条决定性边界，再按控制面（四 CRD + 控制器）、运行时（RuntimeClass 选型）、网络（Router 数据面契约 + 托管 NetworkPolicy）、运行时接口（sandboxd gRPC/REST + 多语言 SDK 四模式）、平台治理（准入策略 / APF / 可观测 / 规模化调参）五层展开，附分阶段落地路线、benchmark 实测容量基线、五条信任边界的安全基线与 14 项"尚未实现"限制清单，并逐条标注证据来源与版本口径。

10 月 8 日《华尔街日报》与彭博社报道：博通正为 OpenAI 的定制 AI 芯片安排超 500 亿美元融资，与阿波罗、黑石等私募信贷机构早期洽谈；同日《金融时报》曝出 SpaceX 正洽谈约 400 亿美元买英伟达芯片，博通还在为 Anthropic 筹集 600 亿美元。芯片采购的钱开始大规模来自债券与私募信贷，而非利润与股权——AI 算力的融资结构正在换轨。本文梳理交易结构与「循环交易」争议。

NVIDIA 新卡发布的节奏，很多时候不是被 4nm 产线决定的，而是被台积电一项叫 CoWoS 的 2.5D 封装产能决定的——它把 GPU 裸片和 HBM 并排装进同一个封装。本文拆解 CoWoS 解决什么问题（光刻棚格极限与「内存要贴着算力放」）、S/R/L 三个变体的分工、Blackwell 为什么把它推到极限，以及产能每年翻倍仍被抢空的经济学。

一年时间，OpenAI 与英伟达、AMD、博通、甲骨文、微软签下约 1.4 万亿美元量级的算力承诺——芯片商既是供应商，又是投资人，如今还亲自组织债务融资。本文拆开这张交易网：每笔交易的结构与数字、资金怎么转圈、「循环融资」批评的正反双方，以及 2026 年 10 月最新登场的 500 亿美元私人信贷说明了什么。

看 GPU 规格表，带宽那行数字比 FLOPS 更能决定大模型推理的快慢——HBM 用「立体堆叠 + 超宽接口」两个动作，把内存带宽做到了同代 DDR 的十几倍。本文拆解 HBM 的原理、四代演进、良率与封装的难点，以及它为什么既是 AI 芯片的标配，又是整条产业链最紧的瓶颈。

微软、谷歌、Meta、亚马逊 2026 年资本开支合计约 7200 亿至 7450 亿美元，OpenAI 用股权、担保与债务融资把芯片厂和云厂织成算力联盟；回报缺口争议与收入口径事件让多空对峙白热化，本文梳理数字、时间线与正反论据。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

GPU 在 Kubernetes 里是「整数个的扩展资源」，一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工，对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景，并展望 1.34 起 GA 的 DRA 会怎么改玩法。

FLOPS、算力、卡时、集群规模混着说，是看懂算力新闻的第一道坎。本文厘清 FLOPS 与 FLOPs 一字之差的两个概念，给出 6ND 训练算力估算经验与卡时换算方法，解释峰值与有效算力之间的 MFU 差距，最后附一张看懂算力新闻的换算清单。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系，附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据，数据截至 2026 年 9 月。

99 美元的 AI 毛绒玩具、累计卖出 25 万台的泡泡聊天球、上线一年销售额破 1.2 亿元的成人陪伴玩偶——在 AI 眼镜还在为退货率挣扎时，AI 玩具悄悄跑通了规模。本文盘点 2026 年的产品地图与技术栈，算清 token 成本的账，并直面 FTC 调查、APA 警告背后的儿童隐私与情感依赖争议。

一台 699 美元外加 24 美元月费的「无屏幕设备」，最终 1.16 亿美元卖身 HP、设备一夜变砖；一台 199 美元的「口袋 AI 伴侣」，10 万买家中任何时刻只有约 5000 人在用。Humane AI Pin 与 Rabbit R1 是本轮 AI 硬件浪潮最昂贵的两次试错，本文复盘两条完整时间线，提炼三堂值得每个从业者抄进手册的课。

Ray-Ban Meta 两年累计 200 万副、2025 单年 700 万副的爆发，把「百镜大战」从概念变成实打实的出货战：Meta 产能要翻倍到年产 2000 万副，中国厂商双 11 销售额同比暴涨、退货率却也高达 30%-50%。本文盘点 2026 年的玩家格局、销量数字、技术路线分野与悬而未决的三个问题。