推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程：SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标（TTFT/TPOT 的分位数）、错误预算的纪律、以及容量规划的三步法。

几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题：下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案（直连下载、镜像仓库、P2P 分发与本地缓存）、冷启动优化的衔接、以及分发管线的工程纪律。

LLM 推理服务的伸缩比普通服务难：副本启动要加载几十 GB 权重（冷启动分钟级）、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。

白天推理高峰、训练占卡；训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式（抢占、分区、弹性分区）、以及「在线优先」的调度纪律。

一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线：MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景，以及「共享 GPU」的噪声与公平问题。

多模型的统一接入、路由、限流与成本核算——开源 LLM 网关（LiteLLM 为代表）把 API 网关的成熟模式搬进 LLM 世界。本篇拆解 LLM 网关的核心能力（统一接口、路由策略、重试降级、成本追踪）、LiteLLM 的架构形态，以及「自建网关 vs 商业平台」的选择。

千卡集群的网络怎么设计？Fat-Tree 用带宽换无阻塞，Rail-optimized 让「同序号 GPU 一跳直达」。本篇拆解两种拓扑的设计逻辑、NCCL 如何利用拓扑、以及「为什么 AI 集群的网络设计是一门专门学问」。

在边缘设备上跑 LLM，硬件怎么选？Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比，给出「按模型规模选硬件」的决策框架，以及边缘部署区别于云端的工程要点。

AI 集群的存储不是一个系统打天下：训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。

一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速，以及「镜像即部署单元」的版本管理。

「压测一下」在推理服务上远比传统服务复杂：压什么指标（TTFT/吞吐）、怎么模拟真实流量（长度分布）、用什么工具（vLLM benchmark、k6、自研）。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位，以及压测报告的正确打开方式。

一套推理服务服务一百个客户：一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术（资源隔离与逻辑隔离）、配额与公平调度、以及噪声治理的工程手段。