操作系统内功 · 第 90 篇|vfork 与 posix_spawn:进程创建的快路径

fork 的账单:页表复制的时间与内存

fork、vfork 与 posix_spawn 三条创建路径的对比流程图

系列此前讲过 fork 的写时复制:子进程不复制物理页,父子共享页面、写时才拷。但「不复制内存页」不等于「零成本」——fork 还有一笔绕不开的账:页表本身。x86_64 上 4KB 页的页表结构是三层映射,每张 4KB 的页表页覆盖 2MB 地址空间,倒过来算,进程每持有 1GB 实际映射的内存,内核就要为它维护约 2MB 的页表。fork 时这些页表必须整份复制一份给子进程(写时复制保护的是数据页,页表是直接复制加共享页写保护),加上 VMA 链表复制、mmap_lock 写锁持有、TLB 冲刷,一次 fork 的时间与内存开销都随 RSS 线性增长。

给一个体感数字:10GB RSS 的 Java 进程 fork 一次,仅页表复制就是 20MB 量级的内存分配加拷贝,叠加锁与 TLB 操作,停顿几十毫秒很正常。多线程进程更糟:fork 会跑 pthread_atfork 注册的 prepare/parent/child 处理函数,glibc 的 malloc 靠它们重置 arena 锁——锁越多、线程越多,这段固定开销越大。这就是为什么「fork 一下」在小朋友程序里是瞬间的事,在几十 GB 的服务里是需要排班的动作。

页表复制还有一层争用代价容易被漏掉:fork 要拿住目标进程地址空间的写锁(mmap_lock 的写锁),复制期间该进程所有线程的缺页处理、mmap 与 munmap 全部被挡在外面。大进程 fork 的几十毫秒里,业务线程的访存阻塞表现为缺页停顿,监控上往往只见「抖了一下」不知去向何处——这正是大内存服务 fork 停顿比单看拷贝量预期更疼的原因。理解了这张账单,vfork 与 posix_spawn 的存在意义就自明了:都是冲着「我不需要完整的地址空间副本,我马上就要 exec」去的。

flowchart TB
    subgraph F1["fork + exec:完整账单"]
        A1["复制 VMA 与页表(随 RSS 线性)"] --> A2["跑 pthread_atfork 钩子"]
        A2 --> A3["子进程 execve 换新地址空间"]
    end
    subgraph F2["vfork + exec:极限快路径"]
        B1["clone 共享地址空间,父进程挂起"] --> B2["子进程只许 execve / _exit"]
        B2 --> B3["exec 完成父进程恢复"]
    end
    subgraph F3["posix_spawn:库封装的安全版"]
        C1["glibc 内部走类 vfork 的 clone"] --> C2["file_actions 在 exec 前完成 fd 手术"]
        C2 --> C3["exec 失败经 127 退出码回传"]
    end

vfork:用挂起父进程换零复制

vfork 的语义极端而明确:子进程与父进程共享同一个地址空间(连页表都不复制),并且父进程被挂起,直到子进程执行 execve 或 _exit 为止。「共享地址空间加父进程挂起」这个组合是它的全部安全保障:子进程在被挂起的窗口里借用父进程的一切,父进程醒来时一切要么已被 exec 换掉、要么子进程已消失。现代内核里 vfork 就是 clone(CLONE_VM | CLONE_VFORK) 的别名,内核对挂起与唤醒的处理已经做得很稳,不稳定的从来是用户侧的契约。

vfork 的契约有多脆

POSIX 对 vfork 子进程的限制白纸黑字:只能调用 execve 家族与 _exit,不能修改任何内存,不能 return,不能调用 exit(会跑 atexit 与 stdio 清理,动的是父子共用的数据)。为什么这么狠?因为子进程跑在父进程的栈上、地址空间完全共用——它一旦 return,等于把父进程的栈帧当场改掉,父进程恢复执行时踩到的是一片被蹂躏过的现场。历史上无数崩溃都来自「在 vfork 子进程里顺手调了个库函数」。

现代内核的实现把 vfork 的机制风险收敛了很多:CLONE_VFORK 语义由调度器保证父进程在子进程 exec 或退出之前不醒来,父子的栈借用关系在内核层面是明确的。风险因此完全集中在用户态契约上——库函数会不会写内存、会不会调 exit,编译器与 libc 并不替你把关。那 posix_spawn 出现之前,shell 为什么敢用 vfork?因为 shell 的用法极度克制:fork 完立刻 exec,中间不插任何语句。这份克制是手艺人级别的自律,而 POSIX 决定把这种自律标准化成一个安全接口,就是 posix_spawn。

posix_spawn:把脏活交给库

posix_spawn(&pid, path, &actions, &attr, argv, envp) 的语义是「给我创建一个跑这个程序的子进程」。它把 fork、vfork 与 exec 的全部技巧封装进 libc:调用者只描述「要什么」(哪个程序、什么参数、fd 怎么重排、信号掩码怎么设),怎么创建由库在运行时选最优路径。glibc 的现代实现内部直接用 clone 走类 vfork 路线(共享地址空间加父进程挂起),子进程在挂起窗口内完成 exec 前的全部准备工作后立即 execve,父进程全程阻塞等待——既没有页表复制,也没有用户可犯错的窗口。

关键细节是错误回传路径。posix_spawn 对「exec 失败」的处理遵循 POSIX 约定:函数本身只报告创建前的错误,exec 环节失败时子进程以退出码 127 终止,调用者从 waitpid 拿到 127 再判断。这个设计乍看别扭,实则闭环了挂起窗口的约束——库没法在子进程上下文里直接返回错误给父进程,只能用退出码这个通道。

错误的发生时机也分两层,工程上要分清责任:file_actions 与 spawnattr 的合法性问题(非法的 fd 编号、错误的标志组合)在 posix_spawn 调用本身返回时报错,走正常返回值;而目标程序不存在、动态链接器缺失这类问题发生在子进程 exec 阶段,父进程只能从 127 退出码间接得知。所以「为什么 spawn 成功了程序却没跑起来」的答案几乎都是后者——排障时先查 127,再看子进程的执行环境(PATH 解析到的路径、库依赖)。glibc 历史上还有个 POSIX_SPAWN_USEVFORK 扩展标志控制内部走 fork 还是 vfork,现代实现统一采用 clone 快路径后它已无实际作用,读老代码时知道这一层即可。

file_actions:exec 前的 fd 手术单

posix_spawn 的表达力来自两个辅助对象。file_actions 是一份按序执行的 fd 手术单:addopen(打开文件并把新 fd 改号到指定位置)、addclose(关闭某 fd)、adddup2(复制 fd 到指定号)。exec 前由子进程按序执行,重定向 stdout 到日志文件、关掉继承来的敏感 fd,全部覆盖。spawnattr 则负责进程属性:POSIX_SPAWN_SETSIGDEF 重置信号默认处理、SETSIGMASK 设掩码、SETSID 开新会话、SETPGROUP 设进程组。一段完整可跑的代码:

#include <spawn.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/wait.h>
#include <fcntl.h>

extern char **environ;

int main(void)
{
    posix_spawn_file_actions_t acts;
    posix_spawn_file_actions_init(&acts);
    /* 手术单:日志文件落到 fd 1,fd 2 同步跟随 */
    int logfd = open("task.log", O_WRONLY | O_CREAT | O_APPEND, 0644);
    posix_spawn_file_actions_adddup2(&acts, logfd, 1);
    posix_spawn_file_actions_adddup2(&acts, 1, 2);
    posix_spawn_file_actions_addclose(&acts, logfd);

    posix_spawnattr_t attr;
    posix_spawnattr_init(&attr);
    posix_spawnattr_setflags(&attr, POSIX_SPAWN_SETSID);

    char *argv[] = { "sleep", "30", NULL };
    pid_t pid;
    if (posix_spawn(&pid, "/bin/sleep", &acts, &attr, argv, environ) != 0) {
        perror("spawn");
        return 1;
    }
    int st;
    waitpid(pid, &st, 0);
    if (WIFEXITED(st) && WEXITSTATUS(st) == 127)
        fprintf(stderr, "exec failed in child\n");
    return 0;
}

对比手写 fork 加 dup2 加 exec:这段代码没有一处可能碰坏父进程状态,也没有一毫秒的页表复制。注意 dup2 的顺序细节——先把日志 fd 落到 1,再让 2 跟随 1,最后关闭原 fd,手术单的顺序语义保证这套重定向在 exec 一瞬间完成。它还有一个隐蔽的优点:fd 泄漏的自然防护。手写 fork 方案里,父进程后来新增的任何 fd 都会默认被子进程继承,忘了加 close-on-exec 就是事故温床;posix_spawn 的模型反过来——默认只带你手术单上写明的 fd,没写的都不带。对安全敏感的 spawn 场景(以低权限身份执行外部程序),这个默认白名单语义比事后逐个关 fd 可靠得多。

顺带把一个老朋友请下神坛:system 与 popen。这两个 C 标准库函数内部是「fork 后 exec /bin/sh 再由 shell 解析命令字符串」,比 posix_spawn 多一层 shell 进程,多一次完整创建,还引入了命令注入的经典风险面——把用户输入拼进 system 的字符串等于把 shell 语法权交给用户。现代 C/C++ 代码里凡是结构化的外部命令执行,都应该走 posix_spawn 或等价的 execve 直接路径,把 shell 留给人类;需要 shell 的管道、通配符能力时,显式写出 /bin/sh 调用并自行处理参数边界,比隐式依赖 system 的黑盒行为可控得多。

工程场景:JVM 的 exec 与 shell 管道

场景一:Java 大堆进程执行外部命令。经典事故:一个 30GB 堆的 Java 服务调用 Runtime.exec 跑一次系统命令,每次调用触发完整 fork,页表复制加上 atfork 钩子,主线程停顿上百毫秒,监控毛刺满屏;内存吃紧时 fork 还可能因为临时申请页表内存失败或超配触发 OOM。较新的 JDK(13 起)把 ProcessImpl 底层改成了 posix_spawn 路径,停顿从上百毫秒降到毫秒级;老版本 JDK 的缓解方案是调大 overcommit 与堆预留,或把外部命令挪到旁路进程。Rust 标准库的 Command 在满足条件时也直接走 posix_spawn,Go 运行时的 forkExec 同样绕开了传统 fork 的完整账单——这个问题的解决方向在业界是收敛的。

场景二:shell 与 CI 流水线。bash 执行一条管道要连续创建七八个进程,忙时一条脚本下来成千上万次进程创建;现代 shell 内部对简单场景走 vfork 或等效的 clone 快路径,CI 节点上每秒拉起几百个短命进程时,fork 路径与快路径的差距会直接体现在流水线耗时里。容器 runtime 同理:每次创建容器 init 进程都要走一遍创建加 exec,高频调度平台上这也是不可忽视的固定成本。

还有一条成本尾款要结清:spawn 快路径省的是「创建侧」,exec 本身的开销还在——加载 ELF、动态链接器跑一遍重定位、首次执行各代码页的缺页填表,短命进程的生命周期里这段启动成本占比可观。所以快路径与热启动不是一回事:把频繁执行的外部工具改成常驻服务(或改用进程池预热),收益比优化 spawn 路径更大。选型结论由此清晰:需要「完整父子会话」时用 fork(比如子进程要继续调用父进程的复杂逻辑);fork 后立即 exec 的场景一律 posix_spawn;手写 vfork 在 2020 年代已经没有正当理由。

怎么量:把账单测出来

调优先测量,进程创建的成本可以直接压测出来。最朴素的口径是「每秒能完成多少次创建加退出」:用 shell 跑一个循环创建真实子进程,或者用 Python 循环调 posix_spawn 后 waitpid,对比大内存进程与小进程的差距;再把同一循环换成 vfork 语义的实现,三条曲线一对比,快路径的收益与本机页表账单的规模就都现形了。读数时注意控制变量:关掉 fork 之外的热源(缓存预热、首次链接)再比,否则量到的是混合成本。另一个观测口是 strace 挂时钟看单次 fork 的时长,对定位「某次发布后创建变慢」的回归很有效——通常原因不是内核变了,而是进程 RSS 变大了。把「进程创建 P99」纳入大内存服务的性能基线,是这类问题最好的早期预警:它对 RSS 增长极其敏感,比内存水位线更早暴露问题。

一眼收束

fork 的隐藏账单是页表与钩子,成本随 RSS 与线程数线性走;vfork 用「共享地址空间加挂起父进程」换零复制,代价是子进程只能 execve 或 _exit 的脆契约;posix_spawn 把这套技巧标准化进 libc,file_actions 与 spawnattr 表达 exec 前的全部手术,exec 失败经 127 退出码回传。工程判断只有两条:大内存多线程进程创建子进程,先问自己是不是马上 exec;是,就用 posix_spawn,把页表账单和危险契约一起外包给库。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?