idle 循环:CPU 没活干的时候在做什么

很多人对 CPU 空闲的想象停留在「空转一个 while 循环」,真实的机制要精细得多。调度器发现没有可运行任务后,内核进入 idle 循环:它先确认确实无事可做(need_resched 为假),随后调用 cpuidle 框架的入口,由框架替这颗 CPU 挑一个「睡觉的姿势」——执行 halt 指令、mwait 指令,或者更深的断电序列。CPU 由此进入某个 C-state,功耗断崖式下降;下一次定时器到期或外设中断到来时,硬件把 CPU 拉回 C0,内核从断点继续,重新调度。
这套机制的目标是两头兼顾:闲的时候尽量省电,忙的时候尽量快醒。而这两头天然冲突——睡觉的姿势越深,功耗越低,但从睡眠中完全恢复所需的退出延迟(exit latency)越长。对批处理与省电敏感的机器,深睡是福利;对延迟敏感的服务,深睡的退出延迟会直接写进 P99:一个请求恰好落在「睡熟的核」上,唤醒就要额外付掉几十微秒,而这类服务的正常请求全程可能只要几十微秒。理解 idle 机制,本质上是在理解一台服务器「闲着的时候到底发生了什么」。
flowchart TD
A["调度器发现无可运行任务"] --> B["进入 idle 循环"]
B --> C["governor 预测下一次事件<br/>何时到来"]
C --> D{"按预测选择 C-state"}
D -- "预计很快有事" --> E["浅睡:C1 halt<br/>退出延迟最小"]
D -- "预计空闲很久" --> F["深睡:C6 断电<br/>功耗最低"]
E --> G["等待中断或定时器"]
F --> G
G --> H["中断到达<br/>硬件开始恢复流水线"]
H --> I["支付退出延迟<br/>C1 亚微秒级,C6 可达数十上百微秒"]
I --> J["回到 C0 重新调度<br/>处理真正的活"]
C-state 谱系:睡多深、醒多慢
C-state 是 ACPI 与 CPU 厂商定义的处理器功耗状态谱系,编号越大睡得越深。C0 是运行态;C1(halt)是第一档浅睡,只暂停执行,寄存器与缓存全部保持,恢复近乎即时,退出延迟通常在亚微秒到个位数微秒级;C1E 是它的降压变体。C2、C3 开始动缓存与时钟:C3 会冲刷部分缓存、停内部时钟,恢复成本上升。C6 是深睡的标志性档位:内核状态被保存、核心断电,唤醒要经过完整的上电与状态恢复序列,退出延迟在数十微秒级,部分服务器平台的深度档位可以到上百微秒。C7 以上的档位乃至封装级状态(package C-state)会把功耗压得更低,唤醒代价相应更高。
深度档位还有个隐藏副作用:断电意味着缓存被丢弃,唤醒后核心的第一波访存全是未命中,恢复的不只是流水线,还有缓存热身的时间。这对「被唤醒后立刻要处理大流量」的核尤其明显——醒来后的最初几百微秒里,它的实际吞吐与冷启动无异。看懂了这一点,就能理解为什么延迟敏感场景不是简单地「禁 C6」,而是要整体评估醒后冷缓存的影响。
退出延迟与目标驻留时间
挑选睡眠深度的两个关键标尺是退出延迟(latency)与目标驻留时间(residency)。前者是「睡下去再醒回来」的恢复开销,后者是「睡满多久才不亏」的盈亏平衡点:如果 CPU 预计只空闲 50 微秒,而某个档位的目标驻留时间是 200 微秒,睡这一档省下的电还不够付恢复的能耗与延迟,反而亏本。cpuidle 框架把每个档位的 latency 与 residency 都登记在案,governor 的工作就是拿预测的空闲时长与这些标尺做匹配——预测空闲 5 毫秒就敢睡 C6,预测 100 微秒就老老实实待在 C1。这也是整套机制被称为「猜测系统」的原因:预测错了,要么白睡亏了延迟,要么浅睡亏了电费。
sysfs 视角:每个核的睡眠账本
内核把每个 CPU 的空闲状态暴露在 /sys/devices/system/cpu/cpuN/cpuidle/stateX/ 下,每个目录里有 name、latency、residency、usage、time 几个文件:usage 是进入该档位的次数,time 是累计停留时长。把 usage 与 time 跟服务流量对齐分析,idle 策略的画像立刻浮现——一个明明持续有中断流量的核若大量 time 落在 C6,说明 governor 预测失败或配置不当。这份账本是所有 C-state 排查的第一站。
governor 的抉择:menu 与 teo
governor 是 idle 机制的决策脑。长期的主流选择是 menu:它维护近期定时器事件的历史分布,据此预测下一次事件的间隔,再叠加对外设中断活动(尤其 IO)的观察修正——磁盘正在读写时,老板很快会再来打断,预测的空闲窗口就被压短。menu 的问题在于对定时器密集型负载的猜测偏保守,历史窗口偶尔把偶发事件外推成规律。
后来的 teo(timer events oriented)governor 反其道而行:只盯定时器事件本身,用过去若干个周期内定时器实际触发的间隔做统计,不做复杂的 IO 修正,逻辑更直白,对定时器驱动的工作负载预测更稳。teo 在 Linux 4.20 前后合入,如今不少发行版默认或推荐使用它,两者在多数负载上差距不大,延迟敏感场景可以在自己的负载上 A/B 对比后定夺。governor 的切换入口是 /sys/devices/system/cpu/cpuN/cpuidle/current_governor(或带 _off 的写法,视内核版本),改动即时生效,非常适合快速实验。
省电与尾延迟的拉锯:数据库为什么禁 C6
把镜头拉到工程视角。一台空闲时大量核心沉入 C6 的机器,功耗账单确实漂亮;但对数据库、消息队列、交易网关这类「请求随时可能来、来了必须立刻处理」的服务,深睡的退出延迟与醒后冷缓存会转化为 P99 尾巴:请求命中率分布不均时,总有一部分请求恰好落在熟睡的核上,多付一次唤醒税。业内因此形成了成熟惯例:延迟敏感服务的机器把 governor 设为 performance、限制最大 C-state 到浅睡档,宁可多交电费换延迟曲线的平坦。
调参入口有三个层次。第一层是运行期 PM QoS:进程打开 /dev/cpu_dma_latency 并写入一个 4 字节的最大允许延迟值(写 0 表示不允许任何深睡),只要这个文件描述符不关闭,cpuidle 就不会选择超出该延迟的档位——这是最精细的进程级控制。第二层是 sysfs 与 sysctl 的全局约束,把 governor 换成 performance,或直接把某些档位禁用。第三层是内核启动参数,intel_idle.max_cstate 与 processor.max_cstate 限制驱动暴露的最深档位,idle=poll 是极端手段——干脆不睡、原地轮询,延迟最低但功耗最高,只在极少数机器上使用。
# 查看 CPU0 的空闲状态谱系与代价
for s in /sys/devices/system/cpu/cpu0/cpuidle/state*; do
printf '%s: latency=%sus residency=%sus usage=%s\n' \
"$(cat $s/name)" "$(cat $s/latency)" \
"$(cat $s/residency)" "$(cat $s/usage)"
done
# state0: latency=0us residency=0us usage=...
# state1: latency=2us residency=20us usage=...
# state3: latency=89us residency=800us usage=... (示意,数值随平台而异)
# 进程级禁深睡:持有 /dev/cpu_dma_latency 并请求零延迟
exec 3<> /dev/cpu_dma_latency
printf '\0\0\0\0' >&3
# 该 fd 不关闭期间,cpuidle 不会进入超过 C1 的档位
# 全局换 governor(可写文件名视内核版本略有差异)
echo performance > /sys/devices/system/cpu/cpu0/cpuidle/current_governor
深睡与系统时钟:NOHZ 的连锁反应
深睡还有一条容易被忽略的支线:它改变了系统时钟的行为。内核在无Hz(NOHZ,tickless)模式下,当 CPU 空闲时会停掉周期性 tick,避免为「没事也要喊一声」的时钟中断白白把核拉出睡眠。时钟中断一旦停了,唤醒深睡核的主力就变成了未来的定时器事件与外设中断——这引出一个精妙的联动:governor 预测的「下次事件时间」很大程度就是下一个定时器的到期时间,如果系统能把多个定时器尽量聚拢(timer coalescing),空闲核就能睡一整段长觉而不是被零散定时器反复叫醒,深睡的驻留比例随之上升。
这条支线对工程的两点提示。其一,深睡与无Hz是配套工程:只在浅睡可用的机器上,停 tick 的省电收益有限;反过来,评估深睡收益时要意识到 tick 停了之后的中断时序会变化,对时间敏感的负载(如高精度采样)要留意。其二,停 tick 只发生在「最后一个空闲核」之外的空闲核上,全系统的周期性活动(调度器周期均衡、RCU 回收)仍然保证有核在干活——所谓无Hz从来不是「全系统没有时钟」,而是「没有让空闲核白醒的时钟」。理解这一点,排查「空闲机器为何仍有定时器中断」时就不会误判。
一次 P99 抖动排查实录
某缓存服务(Redis 类负载)长期有一个说不清的现象:机器负载极低,P99 却周期性冒刺,冒刺与请求量无明显相关。排查路径值得复盘。第一步排掉应用层:无大键、无过期风暴、无主从切换。第二步看内核:turbostat 按秒采样,发现 C6 驻留比例在空闲时段极高,而 P99 冒刺的时间点与「大量核沉入 C6 后被突发流量同时叫醒」高度吻合——突发批量的第一个请求各自付掉几十微秒的唤醒税,叠加后正是 P99 的尖峰形态。第三步验证因果:给服务进程加上 cpu_dma_latency 零延迟持有,让核们顶多睡到 C1,P99 尖峰消失,平均延迟几乎不变,代价是空闲功耗上升了一截。
这个案例的通用结论有两条。其一,「空闲机器的尾延迟」未必是调度或网络的问题,idle 深睡是低负载服务的常见暗坑,负载越空闲、流量越突发,坑越明显。其二,省电与延迟的权衡要用业务 SLA 定夺:批量集群、夜间几乎无流量的机器,深睡收益巨大,别一刀切禁用;在线低延迟服务则优先保延迟曲线。一把梭的运维策略在两类机器上都会各坑一次。
第二个场景:批量集群的省电账
与缓存服务的禁 C6 相对应,另一次经历反过来——一个批处理集群白天高峰、夜间几乎空载,运营要压电费。这次的做法是先测量再决策:turbostat 对比两种策略(全开深睡与全禁深睡)在真实负载曲线下的整日功耗,结果深睡策略在夜间省下两成功耗,白天几乎无差异;而夜间空载,延迟退化无从谈起。结论是全开深睡加默认 governor,不引入任何延迟保护。半年后有人质疑夜间任务偶尔变慢,复查发现根因是夜间批任务的「唤醒雪崩」:定时任务把上百个熟睡的核同时叫醒,唤醒税与冷缓存让第一波任务变慢——把定时任务的启动时间错峰打散,问题消失,省电策略原样保留。
这个对照案例与缓存服务案例放在一起看,得出的判断框架才完整:同样的机制,在延迟敏感与吞吐敏感两类负载上得出相反的最优解。决策的依据永远是业务 SLA 而不是「深睡好不好」的抽象结论;而无论选哪边,唤醒时序(突发叫醒还是错峰叫醒)都是独立于 C-state 档位的第二变量,值得单独设计。
观测工具清单与收束
观测这块地基值得单独铺一遍。turbostat 是第一工具:按 interval 采样各档位驻留比例、功耗、频率,一眼看清机器的睡眠画像;powertop 的 idle 报告提供类似的档位分布并给出省电建议,适合批量机器的健康巡检;/sys 下各档位的 usage 与 time 是无需工具的原始账本,脚本化巡检最方便;perf 与中断统计则用于回答「醒来之后干了什么」。四类信息拼起来,就是一台机器完整的「睡与醒」账目。
收束一下。C-states 机制把「空闲」变成了一个有深度的状态空间,governor 用预测在省电与唤醒延迟之间讨价还价;工程上的全部争议都围绕预测的失败模式展开——预测失误的代价由尾延迟买单。记住三个抓手:退出延迟与目标驻留时间是每个档位的身份标识,cpu_dma_latency 是进程级的最小侵入控制,turbostat 的驻留比例是抖动排查的第一线索。下一篇我们继续沿着「唤醒」往下游走:中断叫醒了核,但中断被谁送到哪个核上,同样大有讲究——中断亲和性与网卡多队列。
读者留言
COMMENTS 暂无还没有留言,来说第一句?