全进程一把门:mmap_lock 的独裁

每个进程的 mm_struct 里挂着一对基础设施:一把读写锁 mmap_lock(早期叫 mmap_sem,6.x 时代统一改名),加上一棵按地址排序的红黑树,登记着全部 VMA——每段可访问的地址区间。所有要动地址空间账本的操作都要过这把锁:读锁给缺页处理、reverse mapping 查询这类「只看不动」的路径,写锁给 mmap、munmap、mprotect、mremap、fork 的页表复制这类「动账本」的路径。这个设计在几十年里运转良好,直到程序越写越大、线程越开越多,一把锁的规模问题暴露出来。
争用的形态有三类。第一类是写者独裁:一个 munmap 或 THP collapse(khugepaged 把小页合并成大页的动作)拿住写锁期间,全进程所有线程的缺页处理集体挂起——缺页要读锁,读锁在写锁面前寸步难行。第二类是 fork 的页表复制:fork 要遍历全部 VMA 复制页表,全程写锁;大进程 fork(Redis 做 RDB 快照、CRIU 做快照)的毫秒到秒级窗口里,其他线程的缺页全被冻结。第三类最隐蔽:读锁本身也争用——rwsem 的读侧获取要碰锁结构的缓存行,几十个线程同时高频进出缺页路径时,这行缓存线成了全进程最忙的地址,缺页处理互相拖慢。perf 火焰图上 rwsem 的慢路径符号出现,就是这三类争用的现场证据。
maple tree:VMA 的新账本
第一刀先砍树。6.1 起,内核用 maple tree 替换了 VMA 红黑树。maple tree 是为「范围查询」优化的 B 树变体:按地址区间组织数据,支持范围重叠查询、批量删除,节点针对缓存行设计。对缺页路径最关键的性质是它支持 RCU 模式下的无锁读:读者在 RCU 读临界区里遍历树,写者修改树时按 RCU 规则先复制再切换,读者最多读到旧版本——而 VMA 查询只需要「找到覆盖这个地址的 VMA」,旧版本树给出的答案一样正确。
这件事对缺页路径的意义是釜底抽薪:以前查 VMA 必须持 mmap_lock 读锁(红黑树的结构会变,不拿锁不敢遍历),现在 RCU 遍历 maple tree 一分锁都不用拿。红黑树的对称二叉结构还带来了缓存不友好的随机跳转,maple tree 的宽节点把一次范围查找的缓存 miss 从一串压缩成一两行。6.1 的这次替换单独看只是「换个更快的数据结构」,但它为下一刀铺平了道路:树可以无锁读了,缺页路径离锁还差最后一段——VMA 结构本身的保护。
maple tree 值得单独记一笔名字来历与定位:它由甲骨文的 Liam Howlett 设计,名字取自枫树——树干粗壮、叶序规律的意象,对应它「宽节点、按范围组织」的结构。它不是只服务 VMA:内核里凡是要按范围管理对象的地方都在逐步引入(页缓存的反向映射结构 i_mmap 也迁了过去),定位类似「红黑树加区间语义」的通用换代。VMA 是它最大牌的用户,但不是唯一用户——这也是判断「这个数据结构会长期存在」的一个信号。
per-VMA lock:读侧各管各的门
6.4 起,per-VMA 锁落地(编译选项 CONFIG_PER_VMA_LOCK)。思路是把保护粒度从「整个地址空间」缩到「单个 VMA」:每个 VMA 挂一个小锁结构与一个序号,缺页路径不再走 mmap_lock,而是先在 RCU 下用 maple tree 找到目标 VMA,再尝试拿这把 per-VMA 锁的读侧(lock_vma_under_rcu 一族接口)。拿到了,就独立完成这次缺页处理;拿不到——比如恰好有写者正在动这个 VMA——就退回老路,老实拿 mmap_lock 读锁走经典路径。
写侧语义保持保守:任何结构性变更(插入、删除、切分 VMA)仍然拿 mmap_lock 写锁,同时把受影响 VMA 的序号推走,让所有盯这个 VMA 的读者立刻失效退回。也就是说,新机制把「读读并发」从锁层面彻底放开——以前几十个线程进缺页也要排队碰同一把 rwsem 的缓存行,现在各拿各的 VMA 锁,互不见面;而「读写互斥」仍然由「写者全局锁加序号失效」兜底。缺页路径与 munmap/fork 的互斥语义不变,变的是读者的并行度与缓存行为。
flowchart TD
A["线程触发缺页"] --> B{"内核版本路径"}
B -- "旧路径" --> C["down_read mmap_lock<br/>全进程读锁(缓存行争用)"]
C --> D["红黑树查 VMA"]
D --> E["处理缺页<br/>up_read 释放"]
B -- "新路径(6.1+ maple tree)" --> F["RCU 读临界区<br/>maple tree 无锁遍历"]
F --> G{"6.4+ per-VMA 锁可用吗<br/>VMA 序号没被写者推走"}
G -- "可" --> H["拿 per-VMA 读锁<br/>独立处理缺页"]
H --> I["释放 per-VMA 锁<br/>退出 RCU"]
G -- "不可(写者活跃)" --> J["退回经典路径<br/>拿 mmap_lock 读锁"]
K["munmap / fork / mprotect"] --> L["mmap_lock 写锁(不变)<br/>修改 maple tree + 推走序号"]
L -. "读者退回" .-> J
还有谁在挤这把锁:GUP 与 THP
把 mmap_lock 的用户清单拉全,才看得清争用的全景。除了缺页与显式 mmap 族调用,还有两组常被忽略的常客。一组是 GUP(get_user_pages):RDMA、vhost、部分 DPDK 路径要把用户态内存「钉住」换取物理页引用,慢路径要拿 mmap_lock 读锁逐段确认 VMA 有效性——DPDK 初始化时把几十 GB 大页内存全部 pin 住,那一刻的 GUP 调用就是一次全量 VMA 扫描;网卡驱动注册共享内存、CUDA 这类用户态驱动也走同类路径。另一组是 THP 机制:khugepaged 后台扫描要读锁,collapse 动作要写锁,透明大页开启的机器上这是稳定的周期性写锁来源。两组合起来解释了一个现象:很多争用不是业务代码写的 mmap/munmap 造成的,而是「用了某个依赖」的间接后果——RDMA 起来那一刻、THP 周期到了那一刻,缺页延迟就抖。
per-VMA 锁对这两组常客的改善程度不同。GUP 的读路径在新内核上同样受益于无锁 VMA 查找;THP collapse 的写锁语义没变,但被它打断的读者从「排队等写锁」变成「退回经典路径各自拿读锁」,冻结的传导被切断了一半。一句话记忆:新内核上,写者还是那个写者,但写者的杀伤半径变小了。
写侧为什么不跟进 per-VMA?因为写动作经常跨越多个 VMA:munmap 一大段地址可能要拆分、合并、删除若干 VMA,页表复制更是全空间操作——这些动作的正确性前提是「记账期间没有别人在动账本」,全局锁是最便宜的正确保证。读者则不同:一次缺页只关心自己那一个 VMA,且缺页处理不会修改账本结构。粒度不匹配的部分交给回退路径兜底,正是「乐观路径加悲观回退」的标准做法——与锁无关的读路径先乐观走,撞上写者就退回被证明了三十年的老路。这个混合模型的正确性证明因此特别简单:写者全局互斥,读者要么拿到与写者互斥的小锁、要么落进全局锁的保护,不存在第三种状态。
一段可复现的并发缺页实验
per-VMA 锁的收益要靠并发缺页负载才看得见。下面这个 C 程序制造标准压力:N 个线程各自对一个独立大区间做随机访问,触发大量软缺页(首次触碰分配物理页),比较不同内核上的总耗时:
#define _GNU_SOURCE
#include <pthread.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>
#include <sys/mman.h>
#define SIZE (256UL << 20) /* 每线程 256MB 独立区间 */
#define STEPS 4000000
static void *worker(void *arg)
{
char *mem = mmap(NULL, SIZE, PROT_READ | PROT_WRITE,
MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
if (mem == MAP_FAILED) { perror("mmap"); return NULL; }
for (int i = 0; i < STEPS; i++) {
size_t off = ((size_t)rand() * SIZE / RAND_MAX) & ~63UL;
mem[off] = (char)i; /* 随机写,触发软缺页 */
}
munmap(mem, SIZE);
return NULL;
}
int main(int argc, char **argv)
{
int n = argc > 1 ? atoi(argv[1]) : 16;
pthread_t th[64];
struct timespec t0, t1;
clock_gettime(CLOCK_MONOTONIC, &t0);
for (int i = 0; i < n; i++) pthread_create(&th[i], NULL, worker, NULL);
for (int i = 0; i < n; i++) pthread_join(th[i], NULL);
clock_gettime(CLOCK_MONOTONIC, &t1);
printf("threads=%d elapsed=%.2fs\n", n,
(t1.tv_sec - t0.tv_sec) + (t1.tv_nsec - t0.tv_nsec) / 1e9);
return 0;
}
gcc -O2 faultbench.c -o faultbench -lpthread && ./faultbench 16。在带 per-VMA 锁的内核(6.4+)上与不带的老内核对比,多线程缺页的扩展性差距一眼可见;新内核上把线程数从 8 推到 32,耗时近似线性,老内核则会在某个点开始出现 rwsem 争用的平台期。观测争用本身用 perf record -g -p <pid> 抓调用栈,火焰图里 down_read/rwsem_down_read_slowpath 出现在缺页路径的塔尖,就是旧锁在冒烟。
工程现场与适用边界
场景一:大进程 fork 的冻结窗口。 Redis 开启 RDB 持久化要在主线程 fork 子进程做 CoW 快照,几十 GB 的实例 fork 复制页表期间持写锁,旧内核上其他线程的缺页在这几百毫秒里全部排队,表现为周期性延迟尖刺——Redis 官方文档专门告诫这个现象。fork 的写锁路径本身没法并发化(页表复制就是结构性变更),但 per-VMA 锁让「被冻结的是缺页读者」这条传导链的另一半有了改进空间:新内核上读侧不再与写锁共享同一把锁的缓存行争用,尖刺的幅度显著收窄。彻底绕开还是要靠进程外方案,但内核侧的每一步改进都在缩短这个窗口。
场景二:JIT 与运行时的 munmap 风暴。 某语言运行时的 GC 频繁 madvise(MADV_DONTNEED) 与 arena 释放,写锁高频进出,旧内核上业务线程的缺页被反复打断,火焰图塔尖是 rwsem 写侧的等待队列。这类负载在新内核上的直接受益有两层:读侧不再排队碰全局锁缓存行;写侧之间的互斥依旧,但每次写动作对读者的影响从「全进程冻结」缩到「相关 VMA 的读者退回」。治理动作也从「减少 madvise 频率」这一根稻草扩展出「升级内核」这个杠杆。
边界要如实划清。第一,per-VMA 锁只覆盖缺页读取路径,mmap/munmap/mprotect/fork 这些结构性写路径仍然全局串行——它是「读者并行」的胜利,不是「写者并行」。第二,单线程进程完全无感:没有并发读者,就没有可提升的并行度。第三,超多线程但缺页集中在同一个 VMA 的负载(所有线程读同一个巨大堆)收益也有限:per-VMA 锁的读侧同样要处理同一把小锁的争用,只是争用范围从全进程缩到了一段地址。判断自己的负载吃不吃这套改进,看三个问题:线程多不多、缺页频不频、缺页是否分散在不同 VMA——三中其二,升级内核的性价比就很高。
收束
mmap_lock 的故事是一场教科书级的锁粒度演进:先用 maple tree 替换红黑树拿到 RCU 免锁读(6.1),再为每个 VMA 配一把小锁让缺页读者各管各的门(6.4),写者继续全局串行保守兜底。它验证了一个反复被验证的内核规律:全局锁的最后堡垒往往不是被并发原语攻破的,而是被「更合适的存储结构」瓦解的——树先变成可无锁读的树,锁才有可能退场。给运维的落点是实用的:大堆多线程服务、fork 密集的运行时、JIT/arena 风暴的语言运行时,都是升级到 6.4+ 内核的明确受益者;验证方法就是文中的缺页基准与火焰图,半小时可出结论。
读者留言
COMMENTS 暂无还没有留言,来说第一句?