一个 4KB page 背了多少行李

内核用 struct page 描述每个 4KB 物理页,这个结构在常见配置下占 64 字节——每 4KB 内存背 64 字节的元数据,摊下来约 1.6%。这个比例在内存里看着不大,真正的痛点在操作次数上:页缓存里读一个 128KB 的连续文件段,要处理 32 个 page 结构,每个都意味着独立的锁、独立的引用计数、独立的状态位翻转;回写路径逐页标记、逐页检查脏位;预读路径逐页分配、逐页挂链。磁盘快了两个数量级的今天,这些逐页操作在许多文件负载的 profile 里成了塔尖——不是数据搬运慢了,是为每个 4KB 打包的行政手续太贵。
folio 是内核对这笔行政税的回应:把「一组连续的页」当成一个对象来管理。这个名字取自页集合的语义,由 Matthew Wilcox 主导设计,从 5.15 前后开始成体系进入主线,之后几个内核周期里文件系统与页缓存大规模迁移到了新接口。它不改变页的大小、不改变用户态语义,改变的是内核内部「以什么为单位思考和操作页缓存」。理解 folio,等于提前看到内核文件路径未来十年的粒度基调。
flowchart TD
A["应用读 512KB 连续文件段"] --> B["页缓存按 folio 组织<br/>一个 folio = 128KB = 32 个 4KB 页"]
B --> C["分配:一次拿 32 页的复合块<br/>一个 head page + 31 个 tail"]
C --> D["锁:folio_lock 一次<br/>覆盖全部 32 页"]
D --> E["回写:一次 folio 级操作<br/>写完一次 folio_end_writeback"]
E --> F["元数据:一套 page 结构共享<br/>行政成本摊薄 32 倍"]
G["旧路径(对照)"] --> H["32 个独立 page<br/>32 次加锁、32 次引用计数<br/>32 轮回写检查"]
folio 的构造:复合页与 head/tail
folio 的底层构造借用了内核早已存在的复合页机制。一个 folio 是 2 的幂个连续物理页:1 页(4KB)、8 页(32KB)、16 页、最多到与 PMD 同级的 2MB(x86-64 常见配置)。第一个页是 head,携带全部元数据——锁、引用计数、状态位、与文件系统的关联;其余页是 tail,它们的 page 结构降级为「指回 head 的路标」,自己不再承担独立元数据。page_folio() 从任意 page 找到所属 folio,反向拆分也有对应的辅助函数。这个设计的聪明之处在于复用:THP 时代内核已经解决了「多个 page 共享一套元数据」的复合页难题,folio 把这套底盘从「专属于匿名大页」推广成「页缓存的通用组织方式」。
对使用者的接口是平行的 folio 族:folio_lock 对应 lock_page、folio_mark_dirty 对应 set_page_dirty、folio_end_writeback 对应回写完成的旧接口、filemap_get_folio 对应 find_get_page。签名几乎一一对应,迁移的工作量主要在「确认调用方真的想要 folio 级粒度」而不是机械改名。看一段内核风格的示意,感受调用方的视角变化:
/* 页缓存操作的两种粒度(示意,非完整函数) */
/* 旧粒度:逐页 */
struct page *page = find_get_page(mapping, index);
lock_page(page);
mark_page_accessed(page);
unlock_page(page);
put_page(page);
/* folio 粒度:一次操作覆盖一组页 */
struct folio *folio = filemap_get_folio(mapping, index);
if (!IS_ERR(folio)) {
folio_lock(folio);
folio_mark_accessed(folio); /* 整组页一起记账 */
folio_unlock(folio);
folio_put(folio);
}
元数据摊薄与锁的减法
folio 的第一笔收益是元数据摊薄。一个 128KB 的 folio 用一套完整的 page 元数据服务 32 页,tail 页只留路标——同样的页缓存容量,元数据总量随 folio 尺寸缩小。对海量页缓存的机器(文件服务、内容分发)这是实打实的内存节省;更重要的是状态位的一致性维护从 N 次变成 1 次,回写检查一个 folio 的脏位就够了。
第二笔收益是锁与引用计数的次数减法。每个独立 page 的加锁是独立的缓存行操作,多核并发访问相邻页时,page 结构与锁变量所在的缓存行成为争用点。folio 把 32 次锁操作并成 1 次,争用概率与上下文切换都跟着降。预读路径的收益最直观:预读算法天然想按递增的大块读,旧粒度下大块预读要逐页分配挂链,folio 粒度下一次分配一个大 folio,预读的步进与 folio 尺寸对齐后,路径上的每一步都变粗。回写同理:块层按更大的连续区间提交 bio,合并效率提升,NVMe 队列的提交次数下降。
第三笔收益藏在文件系统的路径里。ext4/XFS 这类文件系统处理一段连续逻辑块时,旧粒度要维护 32 个页的缓冲状态(旧 buffer_head 机制还要再叠一层),folio 让「一个文件区块」对应「一个 folio」成为可能,读写路径的边界判断大幅简化。这也是文件系统社区对 folio 如此积极的原因:它不只是性能优化,还是把 20 年历史的 buffer_head 层进一步边缘化的契机。
为什么不是直接把页改大
看到这里自然会问:与其搞 folio 这层包装,为什么不干脆把基础页改成 64KB 或 2MB?答案在兼容性与多样性的约束里。其一,历史与生态:整套硬件页表、驱动、内存账本都以 4KB 为最小单位运转了近三十年,改基础页尺寸等于把 MMU 语义重写一遍,风险与收益完全不成比例。其二,浪费问题:基础页一旦变大,页内碎片就是硬浪费——一个占 100KB 的对象要吞掉一个 128KB 页,小对象密集的负载(大量微服务、数据库行缓存)会白白多耗三成内存。其三,硬件多样性:不同 CPU 支持的最大可映射页尺寸不同,进程之间、映射之间对粒度的需求天然不同——共享库想要细粒度避免浪费,堆想要粗粒度省 TLB。folio 的答案是把「物理连续」与「管理单元」解耦:物理页仍然是 4KB 的最小账本单位,管理粒度按需伸缩。这不是绕弯,这是在尊重 30 年生态的前提下把灵活性放到中间层——与内核一贯的「机制上移、策略下沉」的工程哲学同源。
顺带一提它对 TLB 的影响路径。folio 只是把页缓存的内部管理变粗,页表里的映射粒度并没有自动变大——文件页的 folio 再大,如果映射粒度还是 4KB,TLB 收益就有限;只有内核选择用大页映射(PM 级映射或 mTHP 路径)时,TLB 才真正少走路。所以「用了大 folio 所以 TLB miss 一定降」是不严谨的推论,验证 TLB 收益要看 perf stat 的 dTLB 指标,而不是想当然。
回收与迁移视角:folio 是不可分割的单位吗
回收侧把 folio 当成操作单位后,行为也变了。回收一个 128KB 的 folio 是一次决定:要么整体回收(脏则先回写、干净则直接释放整块),要么整块保留——不存在「回收一半」的状态。这个语义对预读友好(预读进来的整块 folio 要么全有用要么全没用),但也带来一个新问题:一个 folio 里只要有一个页正在被访问,整块就得留下,粗粒度回收的选择自由度反而变小。内核的处理是把「访问热度」记在 folio 级(整块晋升或保持),配合 LRU 账本(第 110 篇的 MGLRU 同样以 folio 为操作粒度工作)做决策。两套新机制在粒度上互相咬合,这不是巧合——页缓存的账本、回收、回写必须在同一个单位上思考,folio 就是那个共同单位。
内存规整与迁移同理。复合页的迁移要求目标位置有同样尺寸的连续空间,大 folio 的迁移成功率低于单页——碎片化严重的机器上,大 folio 分配与迁移会先尝试拆分兜底。这条边界决定了 folio 尺寸的「自动档」逻辑:内核按内存压力与碎片状况动态选择分配粒度,碎片化时退回小 folio 保住成功率,规整后再放大。应用侧不需要干预,但容量规划要知道这个机制:内存碎片率高的机器上,folio 收益会打折——又一条「内存碎片是万恶之源」的注脚。
迁移地图与用户态透明度
folio 的落地是一个长跑。最先迁走的是页缓存核心与通用文件读写路径(generic filemap 层),随后是各家文件系统的地址空间操作——XFS、ext4、btrfs 陆续跟进;网络路径的部分skb 内存管理、交换子系统也在各自的时间表上。匿名内存侧则演化出多尺寸透明大页(mTHP):缺页时可按应用语义选择 16KB 到 2MB 的 folio 粒度,比全有全无的传统 THP(第 52 篇讲过它的问题)灵活得多——堆小对象密集的进程用小 folio 避免浪费,顺序扫描密集的进程用大 folio 享受 TLB 覆盖。两件事共享同一套复合页底盘,一个面向页缓存、一个面向匿名映射。
对用户态,folio 完全透明:系统调用、内存语义、/proc 账本口径全部不变。应用的收益是间接的——同样的负载下更低的内核 CPU、更少的 TLB miss(匿名大 folio)、更粗的回写粒度。这带来一个工程上的微妙之处:升级内核获得的收益不会以任何显式开关的形式出现,只能靠对比测量确认。观测手段因此成为理解 folio 的主要途径:
# 盯一把核心函数的调用频率与调用方分布
bpftrace -e 'kprobe:filemap_get_folio { @[comm] = count(); }'
# 对照 mTHP:匿名大页的分配尺寸分布
grep -r anon_fault_alloc /sys/kernel/mm/transparent_hugepage/hugepages-*/stats/ 2>/dev/null
cat /sys/kernel/mm/transparent_hugepage/hugepages-2048kB/stats/anon_fault_alloc 2>/dev/null
# 回写粒度:blktrace/bpftrace 看单次 bio 的段长分布
bpftrace -e 'tracepoint:block:block_rq_issue { @bytes = hist(args->bytes); }'
工程场景两则
场景一:快盘上的逐页开销。 某文件存储服务在本地 NVMe 上承载海量小文件读写,升级内核后同一硬件的吞吐提升明显,profile 里 filemap 相关路径的 CPU 占比肉眼可见地下降。根因正是 folio 化的页缓存:以前每个 4KB 的锁与状态操作,现在按 folio 成组完成;回写提交的 bio 段更长,块层合并率上升。这类「升级内核白拿性能」的案例有个共同点:负载是文件密集型、设备足够快,旧粒度的行政开销占比才足够突出。机械盘时代这些问题被 IO 延迟掩盖,快盘把它们全部暴露出来。
场景二:大堆服务的 TLB 收益。 一个 64 GB 堆的 JVM 服务,传统 THP 全开时遇到回收与去碎片化的延迟尖刺,全关后 TLB miss 又拖累吞吐。mTHP 提供了中间路线:按 hugepages-2048kB 与较小尺寸的开关组合,让运行时对堆的热区用大 folio、对元数据区用小 folio。观测 /sys/kernel/mm/transparent_hugepage/ 下各尺寸的 stats 与 TLB miss 计数(perf stat 的 dTLB load misses),可以找到尺寸组合的最优点。folio 化让「多大算合适」从二选一变成连续可调,这是它对应用侧最实际的馈赠。
收束
folio 解决的问题是粒度错配:内存管理的操作粒度还是 4KB 时代的手工精度,而硬件与负载早就需要更大的事务单元。它用复合页底盘把连续页打包成一个对象,元数据摊薄、锁次数下降、回写与预读按大块推进,文件系统迁移顺手加速了 buffer_head 的退场;匿名侧的 mTHP 则把大页从二选一变成连续可调。对用户态它完全透明,收益只能靠测量确认——盯 filemap_get_folio 的调用分布、回写 bio 的段长分布与 TLB miss 计数,就能给自己的负载算出这笔行政税省了多少。内核数据结构的每次大换代都值得读一遍动机:folio 的动机只有一句话——别再为每个 4KB 手续跑一趟。
读者留言
COMMENTS 暂无还没有留言,来说第一句?