当前位置： 首页 > ops >正文

LVS-DR负载均衡群集深度实践：高性能架构设计与排障指南

ops 2025/6/26 22:25:52

目录

一、核心原理与理论

二、背景与架构设计

三、全流程部署步骤

1. NFS共享存储配置（192.168.7.100）

 2. Real Server节点配置（四台服务器）

3. Director服务器配置

四、常见问题解决方案

五、生产环境总结

拓扑示意图：

一、核心原理与理论

LVS-DR（Direct Routing）模式通过MAC地址改写实现高效转发：

  • 数据流向

  • LVS-DR（Direct Routing）工作流程：

    • 请求处理

      • 客户端访问VIP（172.16.16.172）

      • Director接收请求，通过调度算法选择Real Server

      • 修改目标MAC地址（不改变IP）转发至Real Server

      • Real Server通过lo:0接口直接响应客户端

    • 关键技术

      • ARP抑制：Real Server隐藏VIP（arp_ignore=1, arp_announce=2）

      • 直接路由：响应流量不经过Director

      • 双网卡隔离：公网(ens33)处理客户端请求，内网(ens37)连接存储

二、背景与架构设计

网络规划：

设备ens33 (公网)ens37 (存储内网)
Director172.16.16.171192.168.7.171
Real Server×4172.16.16.131-134192.168.7.131-134
NFS Server-192.168.7.100
VIP172.16.16.172-

核心优势：

  • 吞吐量提升：响应流量直返客户端，避免Director瓶颈

  • 安全隔离：存储网络独立于公网

  • 数据一致性：NFS共享Web根目录

场景需求：

  • 公网访问VIP：172.16.16.0/24（ens33）

  • 存储内网通信：192.168.7.0/24（ens37）

  • 共享存储：NFS服务器发布/var/www/html

架构优势：

  • 解耦网络流量：公网/内网物理隔离

  • 数据一致性：NFS共享Web根目录

  • 高性能：DR模式避免Director带宽瓶颈

三、全流程部署步骤

1. NFS共享存储配置（192.168.7.100）

# 安装NFS服务
yum install -y nfs-utils rpcbind# 创建共享目录
mkdir -p /var/www/html
chmod 777 /var/www/html# 配置访问权限（/etc/exports）
echo "/var/www/html 172.16.16.0/24(rw,sync,no_root_squash)" >> /etc/exports
echo "/var/www/html 192.168.7.0/24(rw,sync,no_root_squash)" >> /etc/exports# 启动服务
systemctl enable --now rpcbind nfs-server
firewall-cmd --add-service=nfs --permanent
firewall-cmd --reload

 2. Real Server节点配置（四台服务器）

# 挂载NFS存储
yum install -y nfs-utils
mkdir -p /var/www/html
mount -t nfs 192.168.7.100:/var/www/html /var/www/html
echo "192.168.7.100:/var/www/html /var/www/html nfs defaults 0 0" >> /etc/fstab# 配置VIP到lo:0
echo "DEVICE=lo:0" > /etc/sysconfig/network-scripts/ifcfg-lo:0
echo "IPADDR=172.16.16.172" >> /etc/sysconfig/network-scripts/ifcfg-lo:0
echo "NETMASK=255.255.255.255" >> /etc/sysconfig/network-scripts/ifcfg-lo:0
ifup lo:0# 添加永久路由
echo "route add -host 172.16.16.172 dev lo:0" >> /etc/rc.local
chmod +x /etc/rc.d/rc.local
route add -host 172.16.16.172 dev lo:0# 配置ARP抑制
echo "net.ipv4.conf.all.arp_ignore = 1" >> /etc/sysctl.conf
echo "net.ipv4.conf.all.arp_announce = 2" >> /etc/sysctl.conf
echo "net.ipv4.conf.lo.arp_ignore = 1" >> /etc/sysctl.conf
echo "net.ipv4.conf.lo.arp_announce = 2" >> /etc/sysctl.conf
sysctl -p# 安装Web服务（以Nginx为例）
yum install -y nginx
systemctl enable --now nginx

3. Director服务器配置

# 配置VIP到ens33:0
echo "DEVICE=ens33:0" > /etc/sysconfig/network-scripts/ifcfg-ens33:0
echo "IPADDR=172.16.16.172" >> /etc/sysconfig/network-scripts/ifcfg-ens33:0
echo "NETMASK=255.255.255.255" >> /etc/sysconfig/network-scripts/ifcfg-ens33:0
ifup ens33:0# 禁用ICMP重定向
echo "net.ipv4.conf.all.send_redirects = 0" >> /etc/sysctl.conf
echo "net.ipv4.conf.ens33.send_redirects = 0" >> /etc/sysctl.conf
sysctl -p# 加载IP_VS模块
modprobe ip_vs# 安装管理工具
yum install -y ipvsadm# 配置LVS规则
ipvsadm -C
ipvsadm -A -t 172.16.16.172:80 -s rr
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.131:80 -g -w 1
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.132:80 -g -w 1
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.133:80 -g -w 1
ipvsadm -a -t 172.16.16.172:80 -r 172.16.16.134:80 -g -w 1# 保存配置
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl enable ipvsadm

 4. 验证配置

# 在客户端访问测试
curl http://172.16.16.172# 查看连接分发
ipvsadm -Ln --stats# 检查Real ServerARP抑制
sysctl -a | grep arp_ignore# 测试NFS写入
touch /var/www/html/testfile

 

 

四、常见问题解决方案

故障现象诊断方法解决方案
VIP无法访问ipvsadm -Ln查看规则状态检查Director的VIP配置和路由
所有请求分配到同一节点检查调度算法(-s参数)确认使用rr轮询而非sh等哈希算法
NFS写入权限被拒绝showmount -e 192.168.7.100检查exports的no_root_squash配置
节点服务器无法响应VIP请求tcpdump -i lo host 172.16.16.172验证ARP抑制参数是否生效
存储网络延迟高ping -s 8972 192.168.7.100调整MTU：ip link set ens37 mtu 9000

五、生产环境总结

性能优化建议：

  1. 网卡调优

    # 启用巨帧（存储网络）
ip link set ens37 mtu 9000
ethtool -G ens37 rx 4096 tx 4096

  2. 内核参数优化

    # Director防止端口耗尽
echo "net.ipv4.ip_local_port_range = 1024 65000" >> /etc/sysctl.conf# Real Server连接复用
echo "net.ipv4.tcp_tw_reuse = 1" >> /etc/sysctl.conf

  3. 会话保持方案

    # 启用源IP哈希调度
ipvsadm -E -t 172.16.16.172:80 -s sh
    ​​​​​​​

容灾设计：

  • 使用Keepalived实现Director双机热备

  • 存储网络配置bonding冗余

  • 实时监控：watch -n 1 "ipvsadm -Ln --stats"

 经验总结：在双网卡架构中，务必关闭存储网卡的ARP代理：

echo "net.ipv4.conf.ens37.proxy_arp = 0" >> /etc/sysctl.conf

拓扑示意图：

[ 客户端 ]|| (访问 172.16.16.172)|
[ Director ]|      ||      | (ens37: 192.168.7.0/24)|      ||    [ NFS Server ]|      (192.168.7.100)|| (调度流量)|
[Real Server1]--[Real Server2]--[Real Server3]--[Real Server4]
(172.16.16.131) (172.16.16.132) (172.16.16.133) (172.16.16.134)

 

http://www.xdnf.cn/news/14636.html

相关文章：

  • 笔记02：布线-差分对的设置与添加
  • Liunx操作系统笔记2
  • 《解锁前端潜力：自动化流程搭建秘籍》
  • Boosting：从理论到实践——集成学习中的偏差征服者
  • linux-修改文件命令（补充）
  • Jenkins Pipeline 与 Python 脚本之间使用环境变量通信
  • 数的三次方根
  • 【深度学习新浪潮】空间计算的医疗应用技术分析（简要版）
  • TCP/UDP协议深度解析（二）：TCP连接管理全解，三次握手四次挥手的完整流程
  • Linux docker拉取镜像报错解决
  • 空间理解模型 SpatialLM 正式发布首份技术报告
  • 数据结构 顺序表与链表
  • 一步部署APache编译安装脚本
  • 基于SSM框架+mysql实现的监考安排管理系统[含源码+数据库+项目开发技术手册]
  • 使用VIVADO合并FPGA bit文件和Microblaze elf
  • SQL学习笔记2
  • 【大厂机试题解法笔记】可以组成网络的服务器
  • 使用亮数据网页抓取API自动获取Tiktok数据
  • Windows下安装zookeeper
  • 使用OpenCV实现中文字体渲染与特效处理
  • 单片机常用通信外设特点及通信方式对比表
  • 入门级STM32F103C8T6无人机遥控(原理图)
  • window显示驱动开发—支持 DXGI DDI（二）
  • 具身智能新突破：Gemini Robotics On-Device，让机器人拥有“本地大脑”
  • 【智能协同云图库】智能协同云图库第二弹：用户管理系统后端设计与接口开发
  • 开源流媒体平台安装使用
  • C# WinForm跨平台串口通讯实现
  • 2023年全国青少年信息素养大赛Python 复赛真题——玩石头游戏
  • 战地2042（战地风云）因安全启动（Secure Boot）无法启动的解决方案以及其他常见的启动或闪退问题
  • 自然语言处理入门