有状态防火墙的账本:五元组与状态机

iptables 与 nftables 的规则大多是无状态的:逐包匹配地址与端口,互相独立。但「只允许已建立连接的回包进来」这类规则需要记忆——记得出站连接长什么样,回包才能放行。提供这份记忆的是 netfilter 的连接跟踪子系统(nf_conntrack):协议栈入口处每个包先过一遍 conntrack,按协议、源地址端口、目的地址端口组成的五元组查表,返回一个状态;防火墙规则用 -m conntrack --ctstate 引用这个状态做决策。没有它,NAT 不成立(改写后的包要记得「原本是谁」)、FTP 这类多通道协议的关联连接放不了行、容器网络的转发无从谈起。它是整个有状态网络功能的账本,也是本篇要讲的故障高发地——账本一满,内核直接丢包,所有走这台机器的连接一起遭殃。
conntrack 眼里的状态有两层,工程上必须分清。第一层是规则用的连接状态:NEW(新连接的首包,表里没有对应条目)、ESTABLISHED(已有条目的后续包)、RELATED(与某条已有连接关联的新连接,如 FTP 数据通道)、INVALID(无法归类的坏包,如握手残缺、重放),规则匹配的就是这四个。第二层是 TCP 协议自身的细粒度状态:内核照抄 TCP 状态机给条目标注 SYN_SENT、SYN_RECV、ESTABLISHED、FIN_WAIT、TIME_WAIT、CLOSE 等,体现在 cat /proc/net/nf_conntrack 的条目行里。两层的关系:连接状态是「记账簿的分类」,协议状态是「每个分类内部的生命周期刻度」,超时时间按后者逐档设定。理解了这两层,conntrack 表的容量模型与调参逻辑就全部可推演。
表怎么记账:哈希桶、条目与超时
表的结构是一张哈希表加一张条目池:按五元组哈希定位桶,条目挂在桶上。容量由两个参数定义:桶数(模块参数 nf_conntrack.hashsize 可调,自动模式下按内存折算)与最大条目数 net.netfilter.nf_conntrack_max(默认取桶数的四倍)。条目不是有连接才有——TCP 连接走完生命周期后,TIME_WAIT 与 CLOSE 状态的条目还要在表里停留到超时才回收;UDP 这种无连接协议也记条目,五元组首次出现即建项,之后靠超时续命。超时参数在 /proc/sys/net/netfilter/ 下按状态逐个可调,几个关键默认值值得背下来:TCP 已建立连接 432000 秒(整整五天)、TIME_WAIT 120 秒、UDP 单向 30 秒、UDP 双向有流的 180 秒。
flowchart TB
A["包进入 netfilter PREROUTING"] --> B["五元组哈希查表"]
B --> C{"命中?"}
C -- 是 --> D["更新协议状态与超时<br>输出 ctstate=ESTABLISHED 等"]
C -- 否 --> E{"可建新条目?<br>表内还有余量"}
E -- 是 --> F["插入新条目<br>ctstate=NEW"]
E -- 否 --> G["丢包<br>dmesg 记 table full"]
D --> H["条目随状态机流转<br>超时到期后回收"]
F --> H
这组默认值解释了表满事故的一个核心机制:已建立连接的条目要占五天。服务是长连接形态(gRPC、消息推送、数据库连接池)时,每条活连接都钉在表里不挪窝;再加上 TIME_WAIT 条目 120 秒的尾随、UDP 五元组每 30 秒续命,表的稳态水位轻松达到「并发连接数 + 关闭态缓冲」的总和。条目本身很小,单条三百字节上下,百万条目也就几百 MB 量级——所以表满几乎从来不是内存问题,而是上限参数没跟上业务模型。表满后的行为极其粗暴:新连接建不了条目,内核对包直接丢弃,dmesg 打出那句著名的 nf_conntrack: table full, dropping packet——一句日志背后往往是一整批业务的连接超时。
两个细分计数把表满前的挣扎与并发的暗伤分开。early_drop 非零:表接近上限时内核抢先回收老条目(随机摘一条给新连接腾位),后果是被摘连接的后续包查不到条目、被按 NEW 处理甚至判定 INVALID——「连接莫名中断」且时间点与表水位高企吻合,就是它的手笔。insert_failed 非零但表未满:并发插入的哈希冲突竞争失败,多核高并发下常见,量级不大属正常抖动,持续增长才需要关注桶数配置。INVALID 流量本身也值得一条专门规则:把 -m conntrack --ctstate INVALID -j DROP 放进规则链靠前的位置,让协议栈尽早丢弃这些无法归类的包,既省后续规则的处理,也让 INVALID 计数成为可观测的入侵与异常信号。
表满事故的证据链与处置
事故的典型现场:凌晨告警大面积连接超时,登录机器看 CPU、内存全部正常,应用日志满是 connect timeout。证据链三步定案。第一步,dmesg -T | grep conntrack 看有没有 table full 日志及其出现频率;第二步,读实时水位与每核统计:sysctl net.netfilter.nf_conntrack_count 是当前条目数,与 max 相比看水位占比,conntrack -S(conntrack-tools 提供)给出每 CPU 的细分计数——insert_failed 与 drop 持续增长就是「表满在丢包」的直接证据,early_drop 非零则说明内核已经在抢先丢弃老条目给新连接腾位置(表满前的最后挣扎);第三步,conntrack -L 抽样看条目构成:TCP 与 UDP 的比例、ESTABLISHED 与 TIME_WAIT 的比例、有没有异常来源(扫描器、单 IP 大量端口),条目构成决定处置方向。
处置清单按「开源、节流、豁免」三线展开。开源:把 nf_conntrack_max 调大,同时把桶数相应放大(哈希桶不足时查表退化成链表遍历,每包的查表成本上升,max 与桶数要成对调;max 是运行期 sysctl 可热调,桶数通常在模块加载参数或启动配置里定,扩容实践中 sysctl 先行救急、桶数随重启落实);条目本身很小(百字节级),百万条目也就几百 MB 量级,绝大多数机器的内存完全付得起。节流:把不合理长的超时调短——最典型的是 nf_conntrack_tcp_timeout_established,五天的默认值在容器与短生命周期连接的场景里纯属浪费,压到几小时甚至更短是常见选择;TIME_WAIT 与 UDP 的默认值一般合理,仅在证据确凿时动。豁免:对绝对可信、高频、不值得记账的流量(监控探针、节点间健康检查、本机服务间调用)在 raw 表里打 NOTRACK——iptables -t raw -A PREROUTING -p tcp --dport 9100 -j CT --notrack,这些包完全绕过 conntrack,条目一分不占;代价是这类流量上不能再用有状态规则与 NAT,豁免对象要选「无 NAT 依赖、方向明确」的流量。
NAT 与容器:条目放大效应
conntrack 与 NAT 是共生结构:每条 NAT 规则改写的就是表里的条目——DNAT 改目的、SNAT/MASQUERADE 改源,条目同时记录改写前后的两个元组方向,回包靠它反变换。这个共生关系在容器平台上被放大成 conntrack 负载的结构性抬升:Kubernetes 集群里,pod 访问 Service 要过一次 DNAT(ClusterIP 到具体 pod),出网要过 MASQUERADE,健康检查探针的每个包也被记条目;一个普通 web pod 的单条业务连接,在节点 conntrack 表里通常对应一到两条条目,再加上 kube-proxy 依赖 conntrack 记住「这个 ClusterIP 已经 DNAT 给了哪个 pod」保证连接粘性——节点上 conntrack 表的规模直接是「pod 数 × 连接模式」的函数。大集群的 conntrack 容量规划因此成为平台工程的标配课:按节点并发连接峰值乘放大系数定 max,探针类流量 NOTRACK(kubelet 探针频繁且五元组固定,是典型的「不值得记账」),部分场景还会直接换掉 iptables 模式的 kube-proxy(IPVS 或 eBPF 模式)从结构上减轻表的负担。
UDP 侧还有一类容器场景的经典事故值得单独点名:DNS 突发。短促大量查询共用同一个源 socket 时,内核为 DNS 五元组建的 UDP 条目在响应到达前可能被新查询的元组冲突顶掉,响应包找不到对应条目被判 INVALID 丢弃——表现为间歇性 DNS 失败,日志里 conntrack 的 INVALID 计数与 DNS 报错时间线吻合。这是 conntrack 对 UDP「伪连接」语义的天生别扭,缓解手段是把 UDP 超时与源端口策略一起调(应用侧避免源端口复用过快,或查询走 TCP),Kubernetes 社区在此问题上积累了一整部踩坑史。结构性的演进方向也值得知道:新一代集群网络方案(IPVS 模式的 kube-proxy、基于 eBPF 的 Cilium 等)在数据路径上绕开或大幅减少 iptables 与 conntrack 的参与——eBPF 方案用 map 直接记录服务与后端的映射,Service 转发不再依赖 conntrack 记 DNAT 关系,节点的表负载随之下降一个量级;但 NAT 出网、CNI 的部分功能仍会在 conntrack 里留下条目,容量监控不能因为换了方案就撤掉,只是阈值模型要跟着数据路径一起重算。
工程现场:一次表满断连与一次容量规划
现场一,扫描流量打爆表。某边缘节点凌晨大面积断连,证据链齐整:dmesg 里 table full 每秒刷屏,conntrack -S 的 drop 突增,conntrack -L 抽样发现数十万条来自同一网段的半开 TCP 条目(SYN_SENT 状态占绝对多数)——一台被扫描器盯上的机器,攻击者用伪造五元组灌表。处置三步:临时先 conntrack -F 清空整表恢复服务(对在途连接有瞬断代价,应急可用);随即调大 max 与 hashsize 到该机型常规容量的数倍;最后在 raw 表对可疑来源网段加 NOTRACK 之外的正解——入口限速与防火墙把扫描流量挡掉(conntrack 表满本身可能就是攻击目标,扩容只是拖延,堵源头才是根治)。复盘的关键认知:conntrack 表是一种「每个包都要查的全局共享资源」,它的耗尽等同于整机网络降级,容量监控(count/max 比例告警)必须与 CPU、内存同级对待。
现场二,前置的容量规划。给一台预计承载两千个并发长连接 pod 的节点做 conntrack 规划:按 pod 连接模型估算峰值条目——业务长连接 2000 × 放大系数 2,加探针与 DNS 突发余量,取 nf_conntrack_max 约 26 万;桶数按四分之一条目数配(约 6.5 万桶)保证平均链长接近 1;nf_conntrack_tcp_timeout_established 按最长会话预期压到 2 小时;探针端口与节点监控流量 NOTRACK。上线后监控 count/max 水位曲线,水位长期低于两成即配置合理。这个现场的方法论与前一个互为表里:事故驱动的调参救急,模型驱动的容量规划才是常态——conntrack 的参数在机器角色确定时就应该算出来,而不是等凌晨的告警来教。
# 证据链与处置的常用命令集
dmesg -T | grep -i conntrack | tail # 表满日志
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
conntrack -S | head # 每 CPU 细分计数(drop/insert_failed)
conntrack -L -p tcp --dport 443 | head # 抽样条目构成
conntrack -F # 应急清表(有瞬断代价)
sysctl -w net.netfilter.nf_conntrack_max=262144
iptables -t raw -A PREROUTING -p tcp --dport 9100 -j CT --notrack
收束
conntrack 用一张五元组表给 netfilter 提供了状态记忆:规则层用 NEW/ESTABLISHED/RELATED/INVALID 四态,表内按 TCP/UDP 协议状态机与逐档超时管理生命周期,NAT 与容器网络的正确性都押在这张表上。三句话带走:表满即丢包且全局连坐,nf_conntrack: table full 不是日志是事故本身,count/max 水位要做成一级监控;处置按开源(max 与 hashsize 成对调大)、节流(established 五天默认值按场景压短)、豁免(探针类流量 NOTRACK)三线走;容器平台按「pod 数 × 连接模式 × NAT 放大」做前置容量规划,DNS 的 UDP 元组别扭是另一部需要单独踩坑的章节。
读者留言
COMMENTS 暂无还没有留言,来说第一句?