Linux网络转发系统框架分析

一、Linux网络子系统整体架构

Linux网络子系统采用分层+模块化设计，核心层次如下：

1. 用户空间接口层

   • 系统调用（Socket API）：提供send()/recv()等接口。
   • 协议族抽象：支持IPv4/IPv6、ARP、Netlink等。
   • 虚拟文件系统（/proc/net, /sys/class/net）：暴露配置与统计信息。

2. 网络协议栈层

   • 传输层：TCP/UDP/SCTP协议实现，包含拥塞控制、重传机制。
   • 网络层：IP协议（分片/重组）、ICMP、路由子系统、邻居子系统（ARP/NDP）。
   • 数据链路层：MAC地址处理、VLAN、桥接。

3. 设备抽象层

   • struct net_device：统一表示物理网卡、虚拟设备（tun/tap、veth）。
   • 驱动回调：ndo_start_xmit()（发送）、netif_receive_skb()（接收入口）。

4. 网络设备驱动层

   • 硬件交互：DMA环形缓冲区管理、中断处理（NAPI混合轮询）。

二、数据包处理核心路径

1. 接收路径（RX Path）

       +---------------------+|  网卡硬件收到帧       |+----------+----------+| DMA到内存+----------v----------+| 硬件中断触发         || (调用驱动ISR)        |+----------+----------+| 调度NAPI+----------v----------+| NAPI轮询循环         || - netif_receive_skb()|+----------+----------+| 协议分发+----------v----------+| 网络层处理           || - ip_rcv()          |+----------+----------+| 路由决策+----------v----------+| 转发？ -> ip_forward()|| 本地？ -> ip_local_deliver()|+---------------------+

2. 发送路径（TX Path）

       +---------------------+| socket发送请求       || (sock_sendmsg)      |+----------+----------+| 协议处理+----------v----------+| 传输层：tcp_sendmsg()|+----------+----------+| 网络层：ip_queue_xmit()+----------v----------+| 路由查找             || (ip_route_output_ports)|+----------+----------+| 邻居子系统+----------v----------+| 链路层：dev_queue_xmit()|+----------+----------+| QDisc队列+----------v----------+| 驱动发送函数ndo_start_xmit|+---------------------+

三、内核转发系统深度解析

1. 核心组件

• 路由子系统（Routing Subsystem）

  • 路由表（FIB, Forwarding Information Base）：基于前缀的Trie结构（LC-trie优化）。
  • 路由缓存：已移除（Linux 3.6+），由更快的**流表（Flow Table）**替代。
  • 策略路由：支持多路由表（ip rule）。

• 邻居子系统（Neighbour Subsystem）

  • ARP表：IP到MAC的映射。
  • struct neighbour：管理L2地址状态（NUD_REACHABLE等）。

2. 转发流程关键函数

// 网络层入口
int ip_rcv(struct sk_buff *skb, ...)→ ip_rcv_finish()→ dst_input(skb)  // 根据路由结果调用→ ip_forward()  // 转发路径→ ip_forward_options()→ ip_output()→ __ip_queue_xmit()

详细转发步骤：

1. 合法性检查：校验和、TTL值（必须 >1）。
2. 路由查找：ip_route_input() → 检查FIB确定下一跳。
3. TTL减1：ip_decrease_ttl()。
4. 处理IP选项：如时间戳、源路由。
5. 发送到下一跳：ip_output() → ip_finish_output()。
6. 邻居子系统交互：
   • 若下一跳MAC未知：触发ARP请求，包暂存到neigh->arp_queue。
   • 已知则直接调用neigh_output()。

3. 性能优化机制

• Fast Path转发：
  使用eBPF XDP或内核模块（如Fast Classifier）在驱动层提前处理转发。
• 多队列与RPS/RFS：
  • RPS (Receive Packet Steering)：软中断负载均衡到多CPU。
  • RFS (Receive Flow Steering)：按流分发至应用所在CPU。
• GRO/GSO：
  • GRO (Generic Receive Offload)：入向数据包合并。
  • GSO (Generic Segmentation Offload)：出向延迟分片至网卡。
• 转发缓存技术：
  • TC (Traffic Control)：支持act_mirred实现快速镜像。
  • eBPF转发：通过bpf_redirect()绕过内核协议栈。

四、关键数据结构

1. struct sk_buff

   • 核心字段：data（包数据）、head/tail（缓冲区边界）、dev（输入/输出设备）。
   • 协议头指针：mac_header、network_header、transport_header。

2. struct net_device

   • 驱动注册：name、mtu、flags（IFF_UP等）。
   • 操作集：net_device_ops（包含发送/接收函数）。

3. struct rtable

   • 路由结果：dst_entry（目标地址）、rt_gateway（下一跳IP）。

五、转发性能瓶颈与优化

六、现代转发技术演进

1. XDP (eXpress Data Path)

   • 在网卡驱动层运行eBPF程序，支持线速转发。
   • 用例：Facebook的L4负载均衡器Katran。

2. TC (Traffic Control) eBPF

   • 在内核协议栈中注入eBPF程序，实现复杂QoS和重定向。

3. IPVS (IP Virtual Server)

   • 基于Netfilter的L4负载均衡，支持DR/TUN/NAT模式。

总结

Linux内核转发系统的核心在于：

1. 分层解耦：协议栈与设备驱动分离。
2. 路由决策：FIB查询决定转发路径。
3. 邻居发现：L2地址解析与状态机。
4. 性能优化：通过eBPF/XDP/零拷贝等技术突破传统瓶颈。

当前Linux转发已从纯软件协议栈向硬件卸载+智能可编程（eBPF） 演进，为NFV/SDN提供基础设施支持。理解此架构是开发高性能网络应用（如负载均衡器、防火墙）的基础。