从一个被打爆的计数器说起

某台 64 核服务器上的数据面程序,每个收包线程处理完一个包就对着全局计数器做一次原子加一。百万包每秒的流量下,这根计数器所在的缓存行在 64 个核之间疯狂易主:核 A 写完,核 B 的缓存行副本立刻失效,B 写完又轮到 C 失效——每一次原子加一都变成一次跨核的缓存一致性往返,光这一根缓存行就能吃掉小半条流水线的带宽。火焰图上原子指令与缓存未命中挤成一坨,而计数器这个功能本身没有任何技术含量。
问题的根源不是「计数」也不是「原子」,而是「所有人写同一块内存」。解法顺理成章:让每个核写自己的那份,读取时再汇总。这就是 per-CPU 变量的全部思想——它不提供新语义,只改写存储的拓扑结构,把一根人人争抢的共享缓存行,摊成 64 根互不干扰的私有缓存行。在内核里,它是性能敏感路径上出现频率最高的并发手段,没有之一。
flowchart TD
A["64 个核各自处理请求<br/>每核要更新计数"] --> B["写路径:this_cpu_inc<br/>操作本核专属副本"]
B --> C["副本0 核0 缓存行<br/>副本1 核1 缓存行<br/>副本N 核N 缓存行"]
C --> D["副本之间零共享<br/>无 CAS、无弹跳、可并行"]
E["监控或统计线程<br/>定期读取总量"] --> F["读路径:遍历所有核<br/>累加各副本得到近似总值"]
F --> G["近似值通常够用<br/>要精确则走锁保护的汇总"]
机制拆解:副本数组与段寻址
内核里声明一个 per-CPU 变量的写法是 DEFINE_PER_CPU(类型, 名字),它看似一个变量,实际编译后是「一块按 CPU 数量排布的副本区域」的基址,每个 CPU 拥有其中等宽的一段。访问方式分两个流派:per_cpu(名字, cpu) 指定核访问,用于跨核读取;this_cpu_ptr 与 get_cpu_var 一族取「当前核」的副本,用于本核写。寻址的实现相当漂亮:每个 CPU 的副本区基址存在一个全局数组里,x86 上更是直接用段基址寄存器指向本核副本区,于是 this_cpu 操作被编译成「段前缀 + 位移」的单条指令,没有查表、没有指针运算开销。
动态版本是 alloc_percpu,适合结构体大、CPU 数量运行期才确定的场景,比如每网卡的 per-CPU 队列结构。副本区的排布还有一层隐藏福利:不同 per-CPU 变量的副本之间由分配器保证足够间距,天然规避了伪共享——两个毫无关系的 per-CPU 计数不会因为排得太近而互相把对方的缓存行打失效。这一点与用户态随意摆放的线程局部数据形成对比,是内核实现里容易被忽略的用心之处。
this_cpu 操作的原子性从哪来
很多人第一次接触 per-CPU 变量都会问:不加锁不加 CAS,怎么保证正确?答案是:per-CPU 变量的原子性来自「同一时刻只有一个上下文会碰这个副本」这个拓扑性质,而维持这个性质靠的是抢占控制。本核任务在更新副本时,如果被调度器换下、换上来的是同核的另一个任务,两个任务就会写同一个副本——所以 get_cpu_var 与其配对的 put 会先禁用抢占,保证 RMW 序列不被打断。this_cpu_inc 这类单指令 RMW 操作,在抢占被禁的前提下天然原子。
中断与软中断又是另一层:同一核上的中断处理函数也可能碰同一个副本,此时需要 this_cpu 系列带 irqsave 的变体,或者手动关中断。总结成一句工程口诀:副本的正确性边界等于「禁抢占的边界」,副本所保护的窗口有多宽,禁抢占的窗口就得有多宽。这也是 per-CPU 变量在内核里偏好短促更新的原因——把长窗口切成多个短窗口,别为累计一个统计值长时间关抢占。
汇总读取:近似值与精确值两条路
写侧摊平之后,读侧就要把所有副本加回来。这里有两种口径。近似口径直接遍历所有核把副本累加,接受「读取瞬间可能漏掉几笔在途增量」的偏差——对监控图表、速率统计这类用途完全够用,而它正是绝大多数内核计数器的选择。精确口径则需要在读取时把所有核的在途更新关掉或序列化,内核提供了 percpu_counter 这类现成工具:平时各核写副本,总量长期在阈值内波动,需要精确值时才持锁做一次全员汇总,用「平时近似、偶尔精确」的成本模型同时讨好两条路径。
网络栈的 SNMP 计数器是教科书案例:/proc/net/snmp 与 netstat -s 的每一个数字背后都是一个 per-CPU 计数器族,收包路径上的 IP 统计、TCP 统计全部走 this_cpu 单指令更新,读取时逐核汇总。百万包每秒的机器上这些统计从未成为瓶颈,靠的就是这个拓扑。代价同样要心里有数:per-CPU 是空间换竞争,64 核乘以每变量几十上百字节,单个变量也就几 KB,但变量一多、结构一大,副本区的总量不可忽视,巨型结构体慎用 per-CPU。
内核里的应用版图
per-CPU 的用户在内核里几乎俯拾皆是。SLUB 分配器给每个 CPU 维护一条 freelists 快路径缓存,kmalloc 的绝大多数请求在「当前核的空闲对象链」上直接摘取,只有耗尽时才走慢路径补货——这是 per-CPU 缓存思想在内存子系统最重的应用。vmstat 的页面统计、各 CPU 的中断计数、抢占计数器、软中断统计,全是 per-CPU 计数器族。percpu_refcount 给对象生命周期管理提供「读者各核加一、销毁时等全员归零」的能力,是第 67 篇 RCU 之外的另一条延迟回收通道。调度器的运行队列干脆是每核一个完整结构体,锁都不需要——那是 per-CPU 思想的极致形态:副本不只是变量,整个数据结构都是。
读取一致性上,SNMP 计数器族还有一层值得看的细节:/proc/net/snmp 的每个统计项读出的是「某一瞬间的一致快照」,实现上把 per-CPU 副本与序列计数器组合——读取方先拿序号,逐核累加,再核对序号未变才算有效,变了就重来。这解决了「逐核累加过程中统计值还在被并发更新」的半新半旧问题,成本只在读侧,写侧依然是单指令。这个组合拳叫 per-CPU 双字(seqcount 加副本),任何「高频写、偶尔要一致读」的应用统计都可以照搬。
混合战术:快路径 per-CPU,慢路径加锁
工程上最实用的形态其实是 per-CPU 与锁的混合结构:快路径完全 per-CPU 零同步,慢路径退化到一把传统的锁。SLUB 就是范例:当前核 freelist 有货时全程无锁;耗尽时才转向该 NUMA 节点的锁去批量补货。percpu_counter 同样如此:副本累计到批次阈值才上交全局桶(上交时持锁)。这类结构的精髓在于把「竞争」从一个常数概率降为小概率事件——绝大多数请求根本走不到锁的面前,锁的负载自然趋近于零。
设计这种混合结构时要算清两笔账。一笔是切换阈值:副本层与全局层之间搬运的批量越大,锁的切换频率越低,但副本与全局值的偏差窗口越大,要按业务对滞后的容忍度定批量。另一笔是读取口径:监控读全局桶会低估(还有一截在各核副本里没上交),读全部副本则要逐核遍历;把两处相加才是完整口径,很多自研统计的「数字对不上」就是这么来的——只读了全局桶,忘了副本层还有未上交的余额。
用户态对等物:TLS、线程亲和与 rseq
应用层有对等的武器,只是名字不同。第一件是线程局部存储(__thread 修饰的 TLS 变量):每线程一份副本,写侧零竞争。它与内核 per-CPU 的差异在于「以线程为单位」而非「以核为单位」,线程迁移会让同一核上的副本换主人,但只要写侧只碰自己的 TLS,竞争照样为零。第二件是把「线程绑定到核」与 TLS 组合,逼近内核语义:绑核之后线程与核一一对应,TLS 副本就近落在同一缓存域,读汇总时按核遍历即可。内存分配器是这个组合拳的重度用户:glibc 的多 arena、jemalloc 的 tcache、tcmalloc 的线程缓存,本质都是 per-CPU 或 per-线程的副本策略。
第三件也是最现代的一件是 rseq:内核把「当前在哪个核上」暴露成一个用户态可直接读的 per-线程结构,配合重启段机制,应用甚至可以在不进内核的情况下安全地做 per-CPU 更新——这在第 93 篇还会专门展开。这里只需要记住结论:用户态要做高频计数与缓存友好写入,TLS 加绑核是零依赖方案,rseq 是进阶方案,内核的 per-CPU 思想完全可以平移过来。
下面的内核风格示例展示写与读的完整闭环:
#include <linux/percpu.h>
#include <linux/module.h>
static DEFINE_PER_CPU(u64, pkt_hits);
void count_packet(void)
{
this_cpu_inc(pkt_hits); /* 单指令 RMW:无 CAS、无弹跳 */
}
/* 近似口径:接受微小偏差的监控读取 */
u64 total_hits_approx(void)
{
int cpu;
u64 sum = 0;
for_each_possible_cpu(cpu)
sum += per_cpu(pkt_hits, cpu);
return sum;
}
/* 精确口径:短暂关中断,杜绝在途增量 */
u64 total_hits_exact(void)
{
int cpu;
u64 sum = 0;
unsigned long flags;
local_irq_save(flags);
for_each_possible_cpu(cpu)
sum += per_cpu(pkt_hits, cpu);
local_irq_restore(flags);
return sum;
}
用户态版本用 TLS 二三十行就能复刻同样的拓扑:
#include <pthread.h>
static __thread unsigned long local_hits; /* 每线程一份副本 */
static unsigned long global_total; /* 汇总桶,低频写入 */
void hit(void)
{
local_hits++; /* 本线程私有,零竞争 */
}
void flush_to_global(void)
{
__sync_fetch_and_add(&global_total, local_hits);
local_hits = 0;
}
一次真实改造:网卡计数器去竞争
把开头的案例补完。64 核数据面程序的全局计数器被打爆后,第一步改造是按队列拆分:每个 RX 队列一个计数器,竞争从「全机共享」降为「队列内共享」,缓存行争用立刻下降一个量级。第二步才是彻底的 per-CPU 化:队列与 CPU 本来就一一绑定(中断亲和性把队列向量钉在固定核上,这正是下一篇的机制),干脆让每个核只写自己绑定的那份副本,竞争彻底归零。汇总线程每秒读一遍全副本求和,监控曲线与改造前完全一致——统计值本来就是允许一秒级滞后的近似值,这次改造没有牺牲任何语义。
这次改造的顺序值得记住:先降粒度(全局改分片),再上 per-CPU(分片改副本)。直接一步到位当然也行,但分步改造的每一步都可以独立验证收益,出了问题回滚边界清晰。另外它暴露了一个容易忽视的耦合:per-CPU 计数与中断亲和性是天然搭档,队列钉在核上,副本才有稳定的主人;脱离亲和性谈 per-CPU 收益,省下的缓存争用可能又被核间迁移吃回去。
备忘:什么时候不该用
per-CPU 不是万金油,有三条边界要背。第一,写极少的变量不值得:一把没人抢的锁几乎免费,副本区与汇总逻辑反而是固定成本。第二,语义要求严格线性的场景要小心:副本加汇总的口径天然带「读取滞后」,如果业务要求强一致的即时读,精确口径的关中断窗口会随核数放大,核数多的机器上要评估代价。第三,大结构体慎用:副本数量随核数线性放大,64 核乘以 1KB 就是 64KB 起步,滥用会让副本区膨胀成新的缓存压力。一句话:per-CPU 解决的是「高频写共享内存」这一个具体问题,它是并发工具箱里第一顺位的杠杆,但只在写热路径上值得拔。
收个尾,回到性能的本源:缓存行是并发世界的稀缺资源,一切并发优化的本质都是少碰别人的缓存行。锁是在碰的时候讲秩序,per-CPU 是让碰不发生。下一篇我们转向另一类「看不见的开销」:CPU 没活干的时候去睡觉,睡觉的姿势却决定着醒来的速度——C-states 与尾延迟的故事。
读者留言
COMMENTS 暂无还没有留言,来说第一句?