计数器溢出式采样:剖析器的地基

现代 CPU 内置 PMU(性能监控单元):一组硬件计数器,可以对「周期数、指令数、缓存未命中、分支预测失败」这类微架构事件直接计数。perf 的采样就是在这组计数器上做文章——给计数器设一个溢出阈值(比如每 100 万个周期),事件累积到阈值触发中断,中断处理程序抓一份现场(此刻的指令指针、寄存器、调用栈、时间戳)写进环形缓冲区,然后把计数器归零继续数。跑一分钟,成千上万份「现场照片」攒下来,按指令地址聚合成热点表,按栈聚合成火焰图。这套机制意味着剖析的常态化成本极低:计数由硬件做,中断频率由阈值控制,每秒几十到几千次采样,对生产负载几乎无感——这也是火焰图方法论(第 33 篇讲过)能在生产环境铺开的物质基础。
理解了溢出采样,perf 事件的分层也就清晰了:软件事件(cpu-clock 等,内核纯软件记账)、内核 tracepoint(固定观测点)、硬件事件(PMU 计数器)。perf stat 输出的 IPC(instructions per cycle)、cache-miss 比率都是计数器的直接读数;perf record 则是采样器本体。采样密度有个工程习惯值得记:perf record -F 99 用频率模式让内核自适应调整阈值,取 99 这类质数频率是为了避免与系统里的周期性活动(定时器、调度 tick)同相共振,采出带节奏偏差的假热点。
阈值、限流与权限:采样器的三条边
采样器自身有三条工程边界。第一条是中断频率:采样太密(-F 拉到几千甚至更高)时,中断本身开始扰动被测系统,内核内置了限流——单事件的中断率超过 /proc/sys/kernel/perf_event_max_sample_rate 就自动拉长阈值降频,perf 会打印样本被限流的提示,此时的报告看起来正常、密度却骤降,用之前要留意这条告警。第二条是栈深度:栈回溯记录的帧数上限由 /proc/sys/kernel/perf_event_max_stack 控制(默认 127 帧),深递归程序的火焰图可能被截顶,需要时可以调大。第三条是内存映射预算:perf 用户态与内核之间靠 mmap 的环形缓冲区传样本,普通进程的映射配额由 /proc/sys/kernel/perf_event_mlock_kb 限定,超预算要降低 -m 页数或提配额——高频采样时缓冲区打满丢样本(perf stat 里能看到 lost 计数),是「采出来的图跟体感对不上」的又一来源。另外还有一条环境边界常在云上碰到:容器与虚拟机里 PMU 是否可达取决于宿主配置,部分托管环境直接禁止 perf_event_open(seccomp 拦截),部分虚拟机guest内拿不到精确采样机制,只能退化到软件事件与中断采样——「为什么这台机器的火焰图特别糊」先查环境再查代码。
skid:中断采样的准星偏移
溢出中断采样的固有缺陷是 skid(滑移):计数器溢出与中断处理之间隔着流水线里在飞的几十条指令,中断真正落地时 CPU 已经跑过事件点了。报告里那个「热点指令」可能不是烧时间的指令,而是事件发生后第十几条指令的落点——这个偏差不是概率性的噪声,而是结构性的:事件点越靠近分支,滑移越容易把样本甩到另一个基本块去。典型误导现场:某服务的剖析报告把热点定在一个看似无害的比较指令上,团队盯着它看了半天;真相是它前面一条缓存未命中的 load 才是罪魁,load 的代价(几十到几百周期)累积期间流水线继续推进,溢出中断落在了 load 之后的指令上。用中断采样做热点定位,「 blamed wrong instruction」是常态而非意外,只是偏差通常落点相近、宏观结论不至于翻车,所以很多人没意识到自己一直在看偏移过的照片。
perf 为此提供精度分级:事件名后缀 :p、:pp、:pppp,逐级向硬件索要更精确的采样点。不带修饰的采样完全接受滑移;:pp 起明确要求零滑移,前提是 CPU 支持对应的精确采样机制且该事件可精确化——不是所有事件都能上高精度(硬件按事件类型支持,部分事件只能低精度采),不支持时 perf 会报错或降级,perf list 里冒号标注的就是各事件的精确度上限。
flowchart TB
A["PMU 计数器累积事件"] --> B{"溢出时用哪种快照?"}
B -- 中断采样 --> C["触发中断<br>内核读寄存器抓现场<br>IP 已滑移十几条指令"]
B -- PEBS --> D["硬件把 GP 寄存器与<br>事件点 IP 写入 PEBS 缓冲区<br>再通知内核"]
C --> E["样本带 skid<br>热点可能错位"]
D --> F["样本近零滑移<br>还可附带数据地址与延迟"]
E --> G["perf 环形缓冲区"]
F --> G
G --> H["perf report / script<br>聚合热点与火焰图"]
PEBS、IBS、SPE:让硬件自己写快照
三大指令集各有一条精确采样路线。Intel 的 PEBS(Precise Event-Based Sampling):计数器溢出的瞬间,微码直接把通用寄存器组与事件发生点的指令指针写入内存里的 PEBS 缓冲区(基于 DS 区域),随后才通知内核搬运——快照由硬件亲手拍,滑移趋近于零(个别事件仍有 ±1 的已知偏差,官方文档有表可查)。AMD 的 IBS(Instruction-Based Sampling)走另一条哲学:不按计数器溢出采样,而是在取指阶段随机给指令「贴标签」,这条指令一路流过流水线,它引发的缓存未命中、访存延迟、分支结果被随行记录,最终完整上报——标签制让 IBS 的数据地址与延迟信息特别完整,代价是采样率控制不如 PEBS 直观。ARM 的 SPE(Statistical Profiling Extension)与 IBS 同思路:独立的采样流硬件周期性抽一笔访存或分支操作,带上数据地址、延迟与来源,写进自己的缓冲区。三条路线在 perf 里统一暴露为不同的事件与修饰符,工具层用法一致,底层语义的差别要在解读时留意——比如 IBS/SPE 的样本天然偏访存,PEBS 的 cycles:pp 偏指令点。
PEBS 的进阶用法藏在「附加信息」里:精确样本可以附带事件发生时的数据线性地址与访问延迟。这两样直接孵化了 perf 的两个子命令——perf mem 用精确 load/store 事件把「哪个指令摸了哪个地址、花了多少周期」摊开看;perf c2c 聚合数据地址,专抓伪共享(第 30 篇 MESI 讲过机制):多个核反复对同一缓存行触发 HITM(命中他核修改态),c2c 报告直接把这条缓存行、参与写入的指令与线程列出来,伪共享定位从玄学变成查表。
调用栈还原:fp、dwarf 与 LBR 三条路
热点只有落点,火焰图需要整条调用栈。perf 还原栈有三条路,各有明确代价。frame pointer 法:样本只记寄存器,栈回溯靠遍历 RBP 链——零额外数据、报告期零成本,但前提是二进制按保留帧指针编译(-fno-omit-frame-pointer)。发行版默认开优化编译会省掉帧指针,直接 fp 回溯栈是断的;内核态在 4.6 起 x86-64 用 ORC 解表替代 fp,内核栈不受此限。经验上,C/C++ 服务要吃 fp 法的红利得在编译选项上让步(损失少量寄存器与少量性能),Go 运行时默认保留帧指针,Go 服务的 fp 火焰图开箱即用。dwarf 法:perf record --call-graph dwarf 在每个样本里把寄存器与一大段栈内存拷下来,报告期按 DWARF 解表回溯——不要求编译让步、任何二进制都能还原,代价是样本体积暴涨(每样本 KB 级)、高频采样时磁盘与报告期成本陡增,适合短窗口精查而非常态采集。LBR 法(Intel):硬件把最近几十条分支记录存在 LBR 寄存器环里,--call-graph lbr 从叶子往上拼出调用栈,样本小、开销低,但深度受 LBR 条目数限制且仅 Intel 可用。三条路的选型口诀:能重编译就 fp,不能重编译短窗口就 dwarf,Intel 环境常态采集用 lbr。
采样对象还有一个天然盲区:计数器只在 CPU 上跑时累积,测不到「等」——锁等待、epoll 空转、磁盘 IO 期间进程根本不消耗周期,on-CPU 剖析对这类延迟哑口无言。off-CPU 分析补上另一半:以调度切换事件(sched:sched_switch)为采样点,记录「谁、在哪条栈上、睡了多久」,聚合成 off-CPU 火焰图(BCC 的 offcputime 一条命令可得)。on-CPU 与 off-CPU 两张图拼起来,才是一个服务时间去向的完整账本。火焰图的生成链路也顺手记一笔:perf script 把原始样本摊成文本,经 stackcollapse 折叠脚本归一成「栈;计数」行,再交给 flamegraph 的渲染脚本出 SVG——整条链路都是文本管道,中途可以按进程、按线程、按时间段任意切片,这正是「同一份数据换个切法多看一遍」的自由度来源;报告期还想看指令级细节,perf annotate 配合调试符号能直接把热点标到源码行与汇编行上。
工程现场:一次被 skid 带偏的排查与一次伪共享
现场一:多线程行情解析服务 CPU 满载,中断采样报告热点集中在一个哈希表的分支判断上,团队怀疑哈希函数实现,重写一轮毫无起色。换 perf record -e cycles:pp --call-graph lbr 重采,热点瞬间位移:真正的烧点在相邻结构体的两个计数器上——多线程各写各的计数器却落在同一缓存行,MESI 每次写都引发缓存行弹跳(第 30 篇的机制)。把两个计数器拆到独立缓存行(对齐到 64 字节并补填充),吞吐立涨两成。这个现场的方法论:低精度热点指向的指令不可直接采信,先用精确采样与 LBR 栈确认「这条指令的上一条 load/store」,再看它摸的地址。
现场二:服务 P99 抖动但 CPU 利用率只有四成,on-CPU 火焰图平平无奇。补 off-CPU 一侧:offcputime(或 perf 抓 sched_switch 加聚合)显示大量线程睡在同一个 mutex 的 futex 等待上,持有者是个被频繁抢占的低优先级线程——配对 on-CPU 图找到持有者的热点后,把持锁区间拆细解决。两个现场合起来是本篇的完整立场:采样报告不是真相而是照片,准星(skid)、相机(精确采样机制)、取景(栈还原方式)都会改变照片内容,用工具的人要知道自己手里这台相机的成像特性。
# 四条高频现场命令
perf record -F 99 -g --call-graph lbr -p <pid> -- sleep 10 # Intel:小样本常态采集
perf record -e cycles:pp --call-graph dwarf -p <pid> -- sleep 5 # 精确采样 + 任意二进制栈
perf mem record -p <pid> -- sleep 5 && perf mem report # 数据地址与访存延迟
perf c2c record -p <pid> -- sleep 5 && perf c2c report # 伪共享定位(HITM 表)
收束
perf 的采样是 PMU 计数器溢出中断驱动的,中断落点天然滑移,PEBS/IBS/SPE 用硬件快照与指令标签把准星校准到事件点,顺带奉上数据地址与访存延迟;调用栈还原在 fp、dwarf、LBR 三条路之间取舍,off-CPU 分析补上「等」的那一半时间。三句话带走:低精度热点先降级为线索而非结论,:pp 加 LBR 复核再动手;栈还原选型由「能不能重编译」与「采集时长」共同决定,Go 服务天然吃 fp 红利;CPU 不忙但服务慢,先看 off-CPU 图再怀疑代码——剖析的两半账本,缺一半都容易办错案。
读者留言
COMMENTS 暂无还没有留言,来说第一句?