操作系统内功 · 第 110 篇|MGLRU:内存回收的新一代算法

双链回收欠下的三笔旧账

MGLRU 多代分层回收结构图

内核页回收的经典模型是 active/inactive 两条 LRU 链:页缺进来挂在 inactive 链头,被再次访问就晋升 active 链,内存紧张时从 inactive 链尾挑页回收。这个模型统治了内核二十年,本系列讲 kswapd 经典回收路径时拆过它的运转。但它有三笔越滚越大的债。第一笔是扫描成本:判断一页「最近被访问过没有」要翻页表清 accessed 位,工作集越大、回收越频繁,逐页翻页表的 CPU 开销越重,回收线程自己都能吃满一个核。第二笔是访问频率的失真:双链只认「访问过没访问过」这个一比特信息,一段流式扫描(数据库顺序读、备份任务)会把大量只读一次的页反复晋升,真正的工作集反而被挤出链路——经典的 one-hit 假阳性问题。第三笔是全局锁的争用:链表操作要拿 lru 锁,回收、缺页、迁移多路径挤在同一个锁上,多核扩展性受限。

MGLRU(multi-gen LRU)针对这三笔债给出了结构性答案:把「访问时间」从一比特升级成代数,把「访问频率」从有无升级成层级,把逐页扫描改成批量、有预算的流水线。它由 Google 的工程师主导开发,补丁在 5.15 前后的版本上打磨多轮,主线于 6.1 合入;Android 与部分发行版内核在此前就把下游版本推上了产线。本篇拆它的账本结构与两条流水线,最后给出开关、观测与 A/B 的实操方法。

账本结构:代与层

MGLRU 的账本从「两条链」变成「若干代、每代若干层」。代(generation)是时间轴:内核维护一个单调递增的代序号,页进入回收账本时落在最年轻的一代;随着时间推移与老化扫描的推进,没有新访问证据的页留在原地被后续代数「甩在身后」,代数越老代表越久没被碰过。代数封顶是个小常数(设计文档给的是最多四代),所以整个结构不会随工作集膨胀——这是它与「按时间戳精细排序」类方案的分野:MGLRU 只要粗粒度的新鲜度,不要精确时间序。

层(tier)是频率轴,主要给文件页用。同一个代里的页,按老化周期内被访问的次数分成不同层:只碰过一次的在最底层,反复访问的逐级升层。一比特的 accessed 位数不出访问次数,MGLRU 借用页引用计数的变化路径来累积访问证据——页每被访问一次,就留下一次可观测的引用痕迹,老化时按痕迹数量决定层的归属。流式扫描的场景由此得救:顺序读过的页落一次层就停在底层,不会被晋升机制捧成「热页」;真正的工作集则随反复访问稳步升层,淘汰侧天然绕开它们。

匿名页与文件页分开记账(沿用 anon/file 的二分),每类页各自有代与层的账本,节点与 memcg 维度上各自独立——回收的决策粒度天然对齐了 cgroup,这在容器密度高的机器上是实打实的收益。

flowchart TD
    subgraph aging ["老化流水线(aging)"]
        A["分配老化预算<br/>按压力与时长切片"] --> B["扫描进程页表<br/>批量检查 accessed 位"]
        B --> C{"页有访问证据吗"}
        C -- "有" --> D["晋升到最年轻代<br/>按访问次数定层"]
        C -- "无" --> E["留在原代继续变老"]
        D --> F["代序号推进<br/>最老代产生候选"]
    end
    subgraph evict ["淘汰流水线(eviction)"]
        F --> G["从最老代、最低层开始挑页"]
        G --> H{"匿名页还是文件页"}
        H -- "匿名页" --> I["写入 swap/zram<br/>或触发 OOM 判断"]
        H -- "文件页" --> J["干净页直接丢弃<br/>脏页先回写"]
        I --> K["按回收成本模型<br/>平衡 anon 与 file 配比"]
        J --> K
        K --> L["水位回升<br/>回收结束"]
    end

两条流水线:老化与淘汰

老化(aging)回答「谁还活着」。它以进程为单位轮转扫描页表:批量取一批页表项,检查 accessed 位,有访问证据的页晋升到最年轻代并更新层归属,扫过的位顺手清掉以便下轮观察新的访问。相比经典回收「回收时才逐页翻页表」的模式,老化的关键改进是预算化:每轮扫描限定时长与页数上限,扫不完留着下轮继续,绝不为了一次回收把 CPU 烧穿。这个设计把「判断热度」从回收的紧急路径里挪到了可调度的后台路径,回收紧急时只做轻量的决策。扫描对象的选择也有讲究:先扫最近活跃的进程(cgroup 维度轮转),因为「谁的工作集在变」这个信息只在活跃者身上有意义。

淘汰(eviction)回答「先扔谁」。决策起点永远是最老代的最低层:最久没被访问、访问次数最少,双重证据叠加。匿名页与文件页按成本模型配比——换出一页匿名页的成本是写 swap,丢弃一页干净文件页几乎免费,脏文件页要先回写——回收侧按「每回收一页的真实代价」动态调节两类页的配比,而不是死板地按类型比例。这个成本模型也是 MGLRU 在混合负载上表现好的重要原因:数据库机器(大匿名工作集)与静态内容服务(大文件工作集)不需要各自调参,成本模型自己会配平。

对活工作集的保护由一个显式参数承担:min_ttl_ms(毫秒级的最小存活时间)。一页在最近 min_ttl 毫秒内有过访问证据,淘汰侧直接绕开它——哪怕内存水位已经很紧张。这个参数把「回收不能毁掉正在跑的工作集」变成了可调的工程承诺,默认百毫秒量级,延迟敏感的服务可以调大。

与经典双链的逐项对照

把两代算法放在同一张桌上对照,能看得更透。晋升路径上,经典模型「访问一次就晋升 active」是二值判定,流式扫描污染一次访问就足以上位;MGLRU 的晋升要落在最年轻代、还要经过层归属的复核,一次性的访问证据只够待在底层。扫描路径上,经典模型的页表翻查发生在回收的关键路径里——压力越大越要翻、越翻越慢的正反馈;MGLRU 把翻查挪进带预算的后台老化,压力越大反而越依赖已经攒好的访问证据,正反馈被拆掉。锁路径上,经典模型的 lru 链操作与缺页晋升共享同一把账本锁,多核缺页风暴时锁上排队;MGLRU 的账本按节点与 memcg 切分,容器之间的回收互不排队。

代价也如实交代。其一,老化扫描要遍历进程页表,进程数极多且页表巨大的机器上,老化一轮的时间不短——算法用预算控制把它摊平,但摊平不等于免费。其二,代与层的粒度比精确 LRU 粗:需要毫秒级访问序的应用感知不到差异,不过这类需求本来也超出了页回收的职责范围。其三,两套算法并存期间,社区诊断工具的部分假设(比如某些 vmstat 字段在 MGLRU 下的含义变化)需要重新校准——这是所有范式更替的共价成本,不是 MGLRU 独有的缺陷。

开关、参数与观测

MGLRU 的开关集中在 /sys/kernel/mm/lru_gen/ 下。enabled 按位控制功能开关,主流发行版内核默认全开(常见默认值 0x0007);min_ttl_ms 是前述的工作集保护参数。核对当前状态:

cat /sys/kernel/mm/lru_gen/enabled    # 0x0007 表示启用
cat /sys/kernel/mm/lru_gen/min_ttl_ms # 工作集最小存活时间

# 内核没编译进去时这里没有 lru_gen 目录,检查内核配置
grep -E 'CONFIG_LRU_GEN' /boot/config-$(uname -r)

观测回收行为主要靠两条线。一是通用回收指标:/proc/vmstat 里的 pgscan(扫描页数)与 pgsteal(实际回收页数),MGLRU 生效的典型特征是同样的回收产出下 pgscan 明显下降——扫描成本省下来了;kswapd 的 CPU 时间(可通过 per-cgroup 的压力指标间接观察)同步回落。二是 PSI:/sys/fs/cgroup/<容器>/memory.pressure 与系统级 some/full 指标,MGLRU 的设计目标是同等压力下 some 与 full 的占比下降——也就是应用被直接回收卡住的时间变短。debugfs 里还有一份按代分布的账本视图(/sys/kernel/debug/lru_gen,配合 min_ttl 等实验参数),能看到每代每层各挂了多少页,是理解算法行为的最好教具。

版本口径上要留意:6.1 主线合入后,后续内核仍在持续改进(匿名页多尺寸大页、扫描路径优化等),行为细节随版本演进。生产 A/B 时保证两组机器内核版本一致,结论才有可比性。

工程场景:一次内存压力的 A/B

某服务容器密度高,常规时段内存压力不大,但每天一批批处理任务上线时 /proc/pressure/memory 的 some 指标飙高,伴随明显的批处理变慢与在线请求长尾。团队做了 MGLRU 的 A/B:同版本内核、同规格的两批机器,关闭组维持经典双链,开启组默认参数直接启用。结论来自三组数字的对比——同样的批处理负载下,开启组的 pgscan 总量下降显著(扫描成本省出 CPU 给业务)、PSI some 的高位持续时长缩短(工作集被保护,在线服务被回收打扰的窗口变少)、批处理本身的墙钟时间略优。没有调任何参数,默认配置直接受益,这与该算法「开箱即用」的设计意图一致。

测量方法也值得记录,因为它可以平移到任何内核行为的 A/B:三组指标各取「压力窗口内的积分」而非瞬时值——pgscan 取批处理时段的累计增量,PSI 取窗口内超过阈值的秒数,长尾取在线接口的 P99。瞬时值在压力波动下噪声极大,积分口径的结论稳定性高一个量级。另外两组机器的批任务调度时间也要拉齐,否则「批任务错峰」这种混淆变量足以把任何结论搅成玄学。

第二个场景反过来:一台数据库机器反馈「开启后感觉没有差别」。排查发现它的匿名工作集常年贴着内存上限跑、swap 配置为零——回收根本没有余地,任何算法都救不了「没有退路的内存压力」。这个案例的教训值得写进每个容量评估文档:MGLRU 优化的是「有余地时的回收决策」,不创造余地;水位长期贴顶的机器,先扩容或加 swap(zram 也可),再谈算法。

收束

MGLRU 把页回收从「两链一位」升级成「多代多层」:代回答多久没访问,层回答访问多频繁,老化的预算化扫描与淘汰的成本模型配比,分别对应经典模型的扫描成本债与频率失真债,账本按节点与 memcg 切分顺手解了锁争用债。使用层面记住三件事:6.1 起主线自带,核对 enabled 即可;观测盯 pgscan 降幅与 PSI 改善;min_ttl_ms 是工作集保护的可调承诺,但它不解决「内存根本没有余地」的问题。内核内存管理的每一次范式更替都值得跟——这次的理由很朴素:它让所有没时间调参的机器免费拿到了更好的默认行为。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?