操作系统内功 · 第 71 篇|中断亲和性与网卡多队列

单队列网卡的软中断独裁

网卡多队列 RSS 分流与中断亲和性架构图

经典故障画像先立起来:一台 16 核机器流量并不大,但 top 里一个核 100% 空转,其余核闲得发慌;那个满负荷核的进程名不是任何业务进程,而是 ksoftirqd/N。再看 /proc/net/softnet_stat,time_squeeze 与 dropped 在涨。这是教科书级的单队列瓶颈:网卡只有一个 RX 队列、一条 MSI-X 向量,所有包的中断都落在同一个核上,软中断(NET_RX)在这一个核上串行处理,其他核想帮忙都没门路。网络处理的第一步分发,决定了后面所有核的并行度上限。

把这个瓶颈解开,靠的是一套分工明确的机制组合:网卡硬件的多队列与 RSS 哈希把流量在硬件层摊开,内核的中断亲和性把每条队列的向量钉到合适的核上,发送侧的 XPS 与兜底用的 RPS 则补齐软件层面的分工。本文把这套机制从硬件哈希到 sysfs 文件逐层拆开,并给出两个真实场景的完整调优过程。

RSS 多队列:把流摊到多个向量上

现代网卡普遍支持多 RX/TX 队列,每条队列配独立的 DMA 描述符环与中断向量。关键问题是「哪个包进哪条队列」,答案是 RSS(Receive Side Scaling):网卡对每个包的头部字段——源目 IP、源目端口——计算一个哈希(常用 Toeplitz 算法),再查一张间接表(indirection table)把哈希值映射到队列号。同一连接的双向包哈希一致,天然落到同一队列,乱序风险可控;不同连接则被均匀打散到所有队列。间接表的内容网卡驱动初始化时默认铺平,可以调整,队列数也可以用 ethtool 的 L 命令增减——前提是驱动的最大队列数与宿主机资源允许。

哈希这一层还有可调的细节。多数网卡支持选择哈希输入的字段集(只哈希 IP 的 L3 模式、加上端口的 L4 模式,各有兼容性差异),部分网卡与驱动还支持对称哈希选项——让去包与回包算出同一个值。默认的 Toeplitz 哈希下,同一 TCP 连接的两个方向通常落在同一队列,但并非硬件保证;对称模式则是显式保证。为什么在意这个?因为某些上层机制(比如连接级的状态跟踪或应用层的亲和绑定)假设同一连接的所有包由同一个核处理,不对称的哈希会让这种假设落空。调优时如果发现连接的两半在两个核上各忙各的,先查哈希配置再怀疑应用。

多队列之所以能把中断也摊开,靠的是 MSI-X 中断机制:传统共享式的 IRQ 线一台设备只有一条,而 MSI-X 允许设备为每条队列申请独立的中断向量,向量由写内存消息直达目标 CPU,天然支持「不同队列叫醒不同核」。内核在驱动加载时为每条队列分配向量并留下亲和性提示,多数高性能驱动会把提示设成与 RSS 间接表对齐的核位——这是厂商为调优铺好的默认路径,手动调整只是在提示之上做精修。理解了「队列、向量、核」三层一一对应的理想结构,所有亲和性配置都变成了维护这张对应表的手段。

多队列是并行的地基,但队列数不等于有效并行度:如果所有队列的中断向量都被分到同一个核,一切照旧单核。这就轮到中断亲和性出场。内核把每条中断向量暴露成 /proc/irq/<IRQ号>/ 目录,其中 smp_affinity 是十六进制掩码(一个比特一个核),smp_affinity_list 是更易读的 CPU 列表写法,写入即生效。配合 /proc/interrupts 观察——它按核分列统计每条向量的触发次数——就能验证「队列到核」的映射是否如预期。

# 1) 查看网卡队列数与调整余地
ethtool -l eth0          # combined 值是当前队列数
ethtool -L eth0 combined 8   # 改成 8 条组合队列(驱动允许的前提下)

# 2) 查看 RSS 哈希到队列的间接表
ethtool -x eth0

# 3) 找出 eth0 各队列的中断向量
grep eth0 /proc/interrupts

# 4) 把第 i 条队列的向量钉到 CPU i(掩码一位一核)
for irq in $(grep eth0 /proc/interrupts | awk -F: '{print $1}'); do
  echo ${irq_to_cpu_map} > /proc/irq/$irq/smp_affinity 2>/dev/null || true
done

# 5) 验证:中断计数应该按核分列增长
watch -n1 'cat /proc/interrupts | grep eth0'

irqbalance 的取舍:省心与失控

大多数发行版默认跑着 irqbalance 守护进程,它周期性重排中断亲和性:把负载摊匀、照顾 NUMA 亲和、避免把向量全挤在一个核上。对通用服务器它是省心的默认。但它与手工调优是天然冲突的:你精心把队列向量钉到固定核,irqbalance 下一轮就把它们挪走。更微妙的是它的目标函数是「均衡」,而网络调优追求的常常是「确定性」——队列与核的稳定绑定让缓存与 per-CPU 队列结构都能热起来,均衡反而打散这份热度。

于是形成了工程惯例:延迟敏感或高包率机器上停掉 irqbalance,做静态绑定;通用机器保持默认。静态绑定时还有一条 NUMA 原则要先查:网卡插在哪个 PCIe 槽,队列就优先绑到同一 NUMA 节点的核上,否则每个包的 DMA 与软中断处理都要跨 NUMA 访问,账单体现在吞吐上限上。网卡设备目录下的 local_cpulist 文件直接给出答案。

XPS 与 RPS:发送侧绑定与软件分发

接收侧讲完了,发送侧同样有分发的学问。XPS(Transmit Packet Steering)为每条 TX 队列配置一个 CPU 掩码:哪些核产生的包走这条队列。它的价值有两层:一是避免多个核同时往同一条 TX 队列的描述符环上塞包造成锁竞争,二是让「核与队列」的对应稳定下来,设备为该核维护的发送状态缓存就能命中。配置文件在 /sys/class/net/eth0/queues/tx-N/xps_cpus(eth0 换成实际网卡名),掩码写法与中断亲和性一致。RSS 与 XPS 通常配成同一套映射:接收队列 i 在核 i 上处理,响应包也从核 i 的队列 i 发出,收发全链路不跨核。

RPS(Receive Packet Steering)则是一条纯软件的退路:单队列网卡或某些虚拟化环境里没有多队列可分,内核在协议栈入口按包头哈希,把包通过 IPI 转交到其他核的 backlog 队列处理。配置文件是 rx-N/rps_cpus。它省去了多队列硬件,代价是额外的 IPI 与缓存转发成本,性能上限不如硬件 RSS,但对单队列虚机是雪中送炭。RFS(Receive Flow Steering)在 RPS 基础上更进一步:维护「流到消费该流的应用所在核」的映射表,把包直接送到应用等待的那个核,缓存局部性更好。RFS 有一张全局映射表(rps_sock_flow_entries 控制)与每队列局部表(rps_flow_cnt),两表配合容量要与连接数匹配,太小则映射频繁被挤出、退化为普通 RPS。三类机制合起来构成完整的分发工具箱:硬件 RSS 优先,RPS 兜底,RFS 精修。

观测方法论:三张表看分发是否健康

调优的闭环靠观测。第一张表是 /proc/interrupts:改完亲和性后每隔几秒采样一次,每条队列向量所在列的数字应稳定增长,若某条向量始终为零则它根本没被路由到。第二张表是 /proc/net/softnet_stat:每行代表一个核的 backlog 统计,第三列 time_squeeze 表示该核处理软中断时被调度限制打断的次数(分摊不完的信号),第二列 dropped 表示 backlog 队列溢出丢弃——time_squeeze 持续增长说明单核软中断吞吐不足,dropped 非零则说明分发不平衡或 backlog 上限不够。第三张是 mpstat 或 perf 的软中断占比:软中断时间应分散在多个核上,且与业务线程的核互不打架。三张表合起来回答「包到哪了、谁在处理、是否处理得过来」三连问。

还可以用 bpftrace 看得更细:bpftrace -e 'tracepoint:irq:softirq_entry /args->vec == 3/ { @[cpu] = count(); }'(向量 3 是 NET_RX)直接统计每核软中断次数,比采样类工具更直接。调优时把这三层观测与 /proc/interrupts 的分布对照,亲和性配置的对错一目了然。

flowchart TD
    A["网卡收包"] --> B{"有几条 RX 队列"}
    B -- "多队列" --> C["RSS 哈希<br/>按四元组查间接表"]
    C --> D["包进入队列 i<br/>触发 MSI-X 向量 i"]
    D --> E["smp_affinity 把向量 i<br/>钉在 CPU i 上"]
    E --> F["CPU i 的软中断<br/>处理协议栈"]
    B -- "单队列" --> G["全部包进唯一队列<br/>单一向量"]
    G --> H{"配了 RPS 吗"}
    H -- "是" --> I["内核软件哈希<br/>IPI 转交其他核 backlog"]
    H -- "否" --> J["全部压力集中在一个核<br/>ksoftirqd 单核打满"]
    F --> K["响应包走 XPS 绑定的<br/>同号 TX 队列发出"]
    I --> K

一台 8 核虚机的调优实录

第一个场景:某 8 核虚机跑高包率转发服务,virtio 网卡默认单队列,软中断核 100%,业务线程抢不到时间片。调优分三步。第一步先问宿主:virtio 多队列开关与 vhost 线程数是否放开,虚拟机内 ethtool -L eth0 combined 4 成功,队列从 1 变 4——这是收益最大的一步,硬件(半虚拟化)层就摊开了。第二步把 4 条队列的中断向量分别钉到 4 个不同核,剩下 4 个核留给业务线程。第三步监控验证:/proc/interrupts 四列各自增长、ksoftirqd 分散到四个核、softnet_stat 的 dropped 停止增长。单队列时代 40 万包每秒封顶,多队列后跑到 120 万才碰到新瓶颈。

第二个场景是反面教材:另一台机器上有人用脚本把所有网卡向量全部钉到 CPU0「方便排障」,结果整台机器的包处理在 CPU0 上排队,业务抖动却查遍了应用层。教训是中断亲和性是全局资源分配的一部分,改动要有对应的监控验证——改完必看 /proc/interrupts 的分布与软中断核的利用率,别凭感觉宣布调优完成。

虚机场景还要多留一个心眼:virtio 的队列数受宿主侧 vhost 线程数与 vCPU 拓扑约束,虚机里把 combined 调到超过宿主配置的上限会失败或被静默截断;同时 vhost 线程本身跑在宿主的某些核上,虚机内的「完美绑定」到了宿主层可能还是两路共用一个物理核。云上网络调优的正确姿势是内外两层一起看:虚机内绑定队列与 vCPU,云控制台或宿主侧确认 vhost 线程的绑定与 NUMA 对齐,任何一层错位都会把另一层的努力吃掉。

避坑清单与收束

把这套机制的坑集中列一遍,每条都有真实翻车史:

  • irqbalance 会覆盖手工绑定。静态调优前先停它(systemd 单元级即可),调完验证 /proc/interrupts 分布仍符合预期。
  • 现代内核的部分中断是「托管中断」(驱动声明了亲和性范围),对这类向量写 smp_affinity 会被内核拒绝或部分生效,先看 /proc/irq/88/effective_affinity_list(88 换成实际向量号)确认实际落点。
  • 队列数不是越多越好:队列过多会把缓存与 per-CPU 结构摊薄,8 到 16 核的机器通常队列数对齐核数或减半就够,多队列的真实收益来自「与核数的匹配」。
  • 共享中断(向量共享给多个设备)没法单独钉,老设备与某些虚拟化环境会遇到,先用 lshw 或 /proc/interrupts 确认共享情况。
  • NUMA 错位是隐形税:网卡在节点 0、中断全在节点 1,每包跨节点访存;先查设备 local_cpulist 再钉核。
  • RPS 开了不等于分摊成功:掩码配错(比如只配了已满负荷的核)等于没配,rps_flow_cnt 与 backlog 队列的统计要一起看。

收束一下:网络并行度的天花板在收包分发这一层就定了——硬件 RSS 摊流量、中断亲和性钉核、XPS 保发送对称、RPS 给单队列留退路。它们共同的哲学是「让数据与处理它的核待在同一块缓存域里」,这与前两篇的 per-CPU 变量、C-states 唤醒其实是同一条主线:缓存局部性。下一篇我们看一台「看起来死了」的机器是怎么被内核自己抓住的——NMI watchdog 与卡死检测。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?