操作系统内功 · 第 114 篇|hugetlbfs:显式大页的工程用法

TLB 覆盖率的算术

hugetlbfs 预池与三种领取方式机制图

虚拟内存的每次访存都要经 TLB 翻译,TLB 的表项数量有限——现代 x86-64 的数据侧 TLB 一二级合计通常只有一两千个表项。用 4KB 页映射,一两千个表项只能覆盖 4 到 8 MB 的地址范围,64 GB 堆的随机访问轻轻松松把 TLB 打穿;每次打穿都触发页表遍历,x86-64 四级页表就是四访存起步。用 2MB 大页,同样的表项数量覆盖范围扩大 512 倍,大堆随机访问的 dTLB miss 可以降一到两个数量级——这就是大页的算术吸引力,也是 JVM、DPDK、大型数据库都把它列为调优前置项的原因。

内核提供大页有两条路线:THP(透明大页)让内核自动替你合并与拆分,代价是策略的黑盒行为与偶发的延迟毛刺(第 52 篇拆过它的机制与坑);hugetlbfs 则是显式路线——应用自己决定用大页、内核划出一个严格管理的预池,谁用多少一目了然。显式的意义在于确定性:预池里的页启动时就划好、永不换出、永不自动回收,延迟敏感与内存行为需要精确预期的系统(DPDK、交易系统、大堆 JVM)宁可接受「内存被钉死」的代价,也要换这个确定性。本篇拆解预池机制、三种领取方式与各自的工程姿势。

预池:先划地再盖房

显式大页的第一课是「大页不是用的时候才有的,而是预先储备的」。内核维护每尺寸一册的 hugetlb 页池:2MB 一册、1GB 一册,池里的页在分配时刻就是完整的巨型页——物理上连续的高阶页块(2MB 页要 order-9 连续块,1GB 页要 order-18),带独立的状态账本。池的规模有三个层级数字:nr_hugepages 是实际储备量,free_hugepages 是当前空闲可领的,rsvd(reserved)是被应用「预订」但还没真正拿走的——预订语义让 fork 前后的 mmap 立刻有失败反馈,而不是写到一半发现池干了。

储备的方式有两种。启动参数一次到位:default_hugepagesz=1G hugepagesz=1G hugepages=8 hugepagesz=2M hugepages=512——开机早期内存碎片少,高阶连续块的分配成功率最高,1GB 页几乎只能靠这条路稳稳拿到。运行时补给:往 /proc/sys/vm/nr_hugepages 或对应的 sysfs 文件写数字,内核现场尝试凑连续块——凑不出就返回比期望少的数量,必要时内核会先做内存规整(compaction)腾地方。观测一本账全在 /proc/meminfo(HugePages_Total/Free/Rsvd/Surp)与 /sys/kernel/mm/hugepages/hugepages-2048kB/ 目录里:

# 启动参数(grub cmdline)里的一次性规划
default_hugepagesz=1G hugepagesz=1G hugepages=4 hugepagesz=2M hugepages=256

# 运行时补给与核对
echo 256 > /proc/sys/vm/nr_hugepages
grep -E 'Huge' /proc/meminfo
cat /sys/kernel/mm/hugepages/hugepages-2048kB/free_hugepages

# 写入值小于回读值 = 碎片化凑不出连续块,先做规整再试
echo 7 > /proc/sys/vm/compact_memory 2>/dev/null || true

池里的页有一个关键性质:不参与常规回收。它们不在 LRU 链上、不能被 swap、不会被 kswapd 碰——预池就是钉死的内存。这既是确定性的来源(永不被内核挪用),也是风险的来源(划多了就是永久浪费),容量规划必须先算账再动手。

预池还留了一个弹性后门:超额池(surplus)。nr_overcommit_hugepages 允许声明一个超额上限,应用领用时如果正式池空了,内核可以临时从普通内存里凑大页顶上(凑不出照旧失败),空闲后这些超额页被拆解归还。它的价值是应付「偶发峰值」:正式池覆盖常态,超额池兜住毛刺,平时不浪费。但别把它当容量规划的主流手段——超额页的凑建走的是高阶分配,高峰期的碎片化机器上凑建成功率没保证,延迟敏感系统把命运交给它就又回到了「不确定」的老路。稳态容量进正式池、毛刺进超额池、关键路径永远不依赖超额,这三句是预池容量策略的完整表述。

运行时补给还有一个容易忽略的现象:写入 nr_hugepages 的数字与回读值可能不一致,这就是碎片化的现场。内核凑连续块时先尝试直接分配,不行就触发内存规整再试,还不行就报失败——返回值会小于期望。1GB 页对此尤其敏感:一个 order-18 的连续块在长时间运行的机器上几乎是彩票。生产 1GB 页一律走启动参数,这个纪律没有例外。

flowchart TD
    A["容量规划:算出需要的 2MB/1GB 页数"] --> B["启动参数划预池<br/>default_hugepagesz/hugepages"]
    B --> C["池就绪:HugePages_Total=512<br/>物理连续、不回收、不换出"]
    C --> D{"应用怎么领"}
    D -- "hugetlbfs 挂载" --> E["mount -t hugetlbfs<br/>在挂载点建文件 truncate 出大小"]
    D -- "匿名 mmap" --> F["mmap MAP_HUGETLB<br/>配 MAP_HUGE_2MB/1GB 指定尺寸"]
    D -- "System V 共享内存" --> G["shmget 带 SHM_HUGETLB<br/>老牌数据库的传统姿势"]
    E --> H["预留计入 rsvd<br/>触碰后从 free 扣减"]
    F --> H
    G --> H
    H --> I["TLB miss 显著下降<br/>页永不换出、延迟确定"]

三种领取方式与代码姿势

hugetlbfs 挂载是文件系统的姿势。mount -t hugetlbfs none /dev/hugepages 挂上后,在挂载点里 open 一个文件并 ftruncate 到目标大小,再 mmap 它——文件多大就预留多大,多个进程 open 同一个文件就共享同一块大页内存。DPDK 早期版本走的就是这条路:它要求 hugetlbfs 挂载可用,运行时在挂载点里管理自己的一堆文件。挂载方式的好处是「内存有名字」:ls 能看见、权限可管、dump 容易,运维友好度最高。

匿名 mmap 是系统调用的姿势:mmap 时带上 MAP_HUGETLB,加 MAP_HUGE_2MB 或 MAP_HUGE_1GB 指定尺寸,长度参数必须对齐到页尺寸。这是最少仪式感的方式,JVM 的 UseLargePages 底层、各语言大页绑定库多用它。System V 共享内存是老姿势:shmget 时带 SHM_HUGETLB,Oracle 等「老牌大型数据库」的传统共享段用法。三者殊途同归——最终都从预池领页,选哪个看应用形态与运维偏好。写一段可运行的 mmap 姿势:

#define _GNU_SOURCE
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>

#define SIZE (256UL << 20)   /* 256MB */

int main(void)
{
    size_t len = SIZE;
    /* MAP_HUGETLB | MAP_HUGE_2MB:向 2MB 预池领页 */
    void *addr = mmap(NULL, len, PROT_READ | PROT_WRITE,
                      MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB | MAP_HUGE_2MB,
                      -1, 0);
    if (addr == MAP_FAILED) {
        perror("mmap(MAP_HUGETLB)");   /* 池不足时最常见的失败点 */
        return 1;
    }
    memset(addr, 1, len);              /* 首次触碰:从池里真正扣减 */
    printf("hugepage mapping ok at %p\n", addr);
    munmap(addr, len);
    return 0;
}

三个失败模式提前背下来:池不足返回 ENOMEM——先查 free_hugepages;长度没对齐返回 EINVAL——len 必须是 2MB 的整数倍;老内核没有按尺寸 hint 的标志——去掉 MAP_HUGE_* 用默认尺寸。报错信息足够定位,前提是你知道预池这本账在哪里。

谁在用与怎么算账

JVM 用 -XX:+UseLargePages 开启,配合预池规划:大堆(几十 GB)服务用它降 GC 扫描与缺页开销,典型收益在停顿时间的方差上——TLB miss 的长尾消失后,GC 与业务线程的调度确定性都变好。DPDK 是最重的用户:所有 memzone、mempool、报文缓冲全在大页上,数据面的每包路径都在省 TLB。数据库场景里,Oracle 用 SHM_HUGETLB 的 SGA 是二十年经典,PostgreSQL 的大页支持(huge_pages=on 配 shared_buffers)同理——buffer pool 越大,大页算术越划算。

算账口诀是「大堆、随机访问、长跑」三占其二才上大页。TLB 收益对「大地址空间上的随机访问」最显著;顺序访问的负载 TLB 本来就不忙,收益趋近于零。反面的算术同样要会:一个应用实际只用了 2MB 大页里的 300KB,剩下的 1.7MB 是内部碎片——大量小对象挤在少量大页里,浪费比例失控。预池总量的规划公式因此是:需要的字节数除以页尺寸,再上浮一批余量(Rsvd 预订与 fork 时的副本压力),宁可池空闲置也别让应用 ENOMEM。

工程现场两则

场景一:JVM 大堆的大页改造。 一个 48GB 堆的交易前置 JVM,GC 后的长尾偶发冒刺。改造动作四步:预池规划 52GB(堆加余量,2MB 页 26624 个,启动参数划好);JVM 加 -XX:+UseLargePages(JDK 会自己尝试大页,失败则回退普通页——所以必须核对日志确认真用上了);关闭 THP 防止两套大页语义互相干扰;验证用大页记账的三处位置——/proc/meminfo 的 HugePages_Free 在 JVM 起来后下降对应数量、JVM 进程 smaps 里出现 2MB 尺寸的映射段、GC 日志停顿方差收窄。改造的常见翻车点是第三步漏做:THP 开着时 JVM 的大页请求与自动合并打架,内存行为依旧飘,团队还以为大页没用。

场景二:容器里的大页限额逃逸。 一个 DPDK sidecar 容器显存限额设了 8GB(memory.max),实际上它领了 12GB 大页跑数据面,节点内存被打爆引发 OOM 连坐。排查时 memory.current 只有 4GB,与实际用量对不上——根因正是大页走 hugetlb 控制器、不进 memory.current 的记账口径差。修复动作:给容器配上 hugetlb.2MB.max,两本账一起封顶;监控侧同样加一条 hugetlb 用量曲线。这个案例的通用教训是:任何「限额明明设了却没拦住」的事故,第一反应都是查「这笔用量到底记在哪本账」,内核的资源控制器一家一本账,只盯 memory 一本就会漏。

代价、坑与 THP 的分工

第一个坑是换出语义:预池页永不 swap。这保证了确定性,也意味着划 32GB 池就是永久占用 32GB 物理内存——同一台机器上的其他负载要共享这笔固定成本。第二个坑是 fork 的写时复制:私有映射的大页被写触发 CoW 时,复制单位是整个 2MB 而不是被写的 4KB——fork 出子进程后各自写触发,内存消耗会以 2MB 为步长跳涨,池没规划余量的场景直接 ENOMEM。第三个坑是容器记账:cgroup v2 里大页用量记在独立的 hugetlb 控制器(hugetlb.2MB.max 限额),不进 memory.current——容器里用了 10GB 大页而 memory.current 显示 2GB 是正常现象,内存限额没算到大页头上,这是容器大页逃逸的最常见事故来源,给带大页的容器配限额时两本账都要管。

与 THP 的分工是收尾必须讲清楚的。THP 适合「不知道自己需要大页」的大多数程序:内核自动观察访问模式,收益与毛刺都是自动的;hugetlbfs 适合「明确知道自己要什么」的少数系统:容量自己算、池自己划、行为自己验。两者的行为还会互相干扰——THP 自动合并可能在预池之外的普通内存里造出大页,让内存行为失去精确性,所以上了预池的机器通常显式关闭 THP(transparent_hugepage=never)来保住确定性。一句分工口诀:THP 是普惠的自动挡,hugetlbfs 是专业车手的手动挡,混着开两头不讨好。

收束

hugetlbfs 的机制骨架三句话:预池先划地(启动参数或运行时写 nr_hugepages,物理连续、永不回收),应用三种姿势领地(挂载文件、MAP_HUGETLB、SHM_HUGETLB),收益是 TLB 覆盖率放大数百倍的确定性延迟。工程纪律对应三句:先算「大堆、随机访问、长跑」三占其二再上大页;池容量按需求加余量规划、失败模式(ENOMEM/EINVAL)提前背熟;容器场景记住大页走 hugetlb 控制器、不进 memory.current。它和 THP 不是二选一的对手而是分工的两端——精确性交给手动挡的预池,普适性交给自动挡的透明大页,选哪端取决于你的延迟目标是平均优秀还是尾部确定。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?