集群 GPU 的可观测性从 DCGM 开始：英伟达数据中心 GPU 管理框架的核心指标（利用率、显存、温度、功耗、ECC、XID 错误码），从 exporter 到 Prometheus 与告警的采集链路，以及一组可以直接抄走的告警规则。

白天推理高峰、训练占卡；训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式（抢占、分区、弹性分区）、以及「在线优先」的调度纪律。

一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线：MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景，以及「共享 GPU」的噪声与公平问题。

一个万卡集群每天都会有硬件故障——GPU 故障不是意外，是常态。本篇拆解 GPU 故障的类型学（ECC、掉卡、降频）、巡检与预测性维护、自动化的故障自愈，以及「把故障当日常来运营」的工程心态。

GPU 在 Kubernetes 里是「整数个的扩展资源」，一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工，对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景，并展望 1.34 起 GA 的 DRA 会怎么改玩法。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。