万字解析LVS集群

一、集群和分布式介绍

1.1、诞生的原因

        单台设备 “又贵又弱又容易挂”，扛不住现代业务的 “海量访问、海量数据、复杂计算”；集群 / 分布式让多台设备 “抱团干活”，分担压力（流量、存储、计算），还能 “坏了一台不影响全局”，正好解决互联网时代 “业务又大又复杂，还得 24 小时不宕机” 的需求。就像以前一个人挑水，现在一群人用 “接力赛” 运水，又快又稳，还不怕有人累倒。

1.2、系统性能扩展方式

        Scale UP：向上扩展，增强

        Scale Out：向外扩展，增加设备，调度分配问题，Cluter

1.3、集群Cluter

Cluster: 集群是为了解决某个特定问题将堕胎计算机组合起来形成的单个系统

Cluster常见的三种类型：

LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问

HA：High Availiablity（高可用）SPOF（single Point Of failure）

        MTBF:Mean Time Between Failure 平均无故障时间，正常时间

        MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间

        A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%

        SLA：Service level agreement（服务等级协议）是在一定开销下为保障服务的性能和可用性，服 务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在 常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这种水平的时候，就会有一 些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。

        停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外 停机时间

HPC：High-performance computing（高性能计算，国家战略资源）

1.4、分布式

分布式存储:Ceph，GlusterFs，FastDFS，MogileFs

分布式计算:hadoop，Spark

分布式常见应用

        分布式应用-服务按照功能拆分，使用微服务

        分布式静态资源--静态资源放在不同的存储集群上

        分布式数据和存储--使用key-value缓存系统

        分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

1.5、集群和分布式

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据 和代码都是一样的

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式 中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起 来，才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数 来提升效率

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器 完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决 定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点， 都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

二、lvs（Linux virtual server）

2.1、lvs简介

LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里的四层SLB(Server LoadBalance)是基 于LVS+keepalived实现

LVS 官网: http://www.linuxvirtualserver.org/

LVS 相关术语

        VS: Virtual Server，负责调度

        RS:RealServer，负责真正提供服务

2.2、lvs集群体系结构

工作原理：

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

2.3、lvs概念

VS：Virtual Server

RS：Real Server

CIP：Client IP

VIP: Virtual serve IP VS外网的IP

DIP: Director IP VS内网的IP

RIP: Real server IP

访问流程：CIP VIP == DIP RIP

2.4、lvs集群的类型

lvs-nat： 修改请求报文的目标IP,多目标IP的DNAT

lvs-dr： 操纵封装新的MAC地址

lvs-tun： 在原请求IP报文之外新加一个IP首部

lvs-fullnat： 修改请求报文的源和目标IP

2.4.1、nat模式

Ivs-nat:

本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和 PORT实现转发

RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

支持端口映射，可修改请求报文的目标PORT

VS必须是Linux系统，RS可以是任意OS系统

2.4.2、nat模式数据逻辑

1、客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口 （9000port）

2、VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3、RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口 （9000port）

4、VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）

5、VS服务器把修改过报文的响应数据包回传给客户端

6、lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通 过PREROUTING后被ipvs结果并作nat转发

因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工 作。所以在做lvs时要把iptables的火墙策略全清理掉。

2.4.3、DR模式

DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源 IP/PORT，以及目标IP/PORT均保持不变

2.4.4、DR模式数据逻辑

在DR模式中，RS接收到访问请求后不需要回传给VS调度器，直接把回传数据发送给client，所以RS和vs 上都要有vip

2.4.5、DR模式数据传输过程

1、客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC

2、VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC，此时帧中的数据为客户端IP+客户端 的MAC+VIP+RS1的MAC

3、RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的 MAC

2.4.6、DR模式的特点

1、Director和各RS都配置有VIP

2、确保前端路由器将目标IP为VIP的请求报文发往Director

3、在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP 
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore 
/proc/sys/net/ipv4/conf/all/arp_announce

4、RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

5、RIP的网关不能指向DIP，以确保响应报文不会经由Director

6、RS和Director要在同一个物理网络

7、请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

8、不支持端口映射（端口不能修败）

9、RS可使用大多数OS系统

2.4.7、TUN模式

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部 （源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP 是CIP）

2.4.8、TUN模式数据传输过程

1、客户端发送请求数据包，包内有源IP+vip+dport

2、到达vs调度器后对客户端发送过来的数据包重新封装添加IP报文头，新添加的IP报文头中包含 TUNSRCIP(DIP)+TUNDESTIP(RSIP1)并发送到RS1

3、RS收到VS调度器发送过来的数据包做出响应，生成的响应报文中包含SRCIP(VIP)+DSTIP（CIP） +port，响应数据包通过网络直接回传给client

2.4.9、TUN模式特点

1、DIP, VIP, RIP都应该是公网地址

2、RS的网关一般不能指向DIP

3、请求报文要经由Director，但响应不能经由Director

4、不支持端口映射

5、RS的OS须支持隧道功能

2.4.10、fullnet模式

fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP

VIP --> RIP

1、VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP

2、RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client

3、请求和响应报文都经由Director 4.支持端口映射

2.4.11、LVS工作模式总结

lvs-nat与lvs-fullnat：请求和响应报文都经由Director

lvs-nat：RIP的网关要指向DIP

lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

2.5、lvs的调度算法

2.5.1、lvs调度算法类型

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法

静态方法：仅根据算法本身进行调度，不考虑RS的负载情况

动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

2.5.2、lvs静态调度算法

1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐

2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少

3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往 第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

补充：LVS静态调度算法中的WRR中的加权的意思是依旧是执行RR轮询的规则，只不过有权重的在分配的时候根据权重大小来决定分配的事务的数量。

2.5.3、lvs动态调度算法

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度

1、LC：least connections（最少链接发） 适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活 动链接数）

2、WLC：Weighted LC（权重最少链接） 默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight

3、SED：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制 到负载轻的RS

3.5.4、在4.15版本内核以后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布

在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度

当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度 器就不会把链接调度到有过载标记的主机中。

2.OVF(Overflow-connection)调度算法

基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动 连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关 联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:

未过载(未设置IP_VS_DEST_F OVERLOAD标志)

真实服务器当前的活动连接数量小于其权重值

其权重值不为零

三、lvs软件介绍

3.1、lvs软件相关信息

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

3.2、ipvsadm命令

核心功能:

集群服务管理:增、删、改

集群服务的RS管理:增、删、改

查看

命令参数

管理集群服务
ipvsadm -A|E -t（tcp）|u（udp）|f（防护墙标签） \
service-address(集群地址) \
[-s scheduler(调度算法)] \
[-p [timeout]] \
[-M netmask] \
[--pepersistence_engine] \
[-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w
weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器

命令实际运用的示例：

#添加
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2#更改
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1#删除
[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30#查看
[root@DR-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS
-> RemoteAddress:Port
TCP 172.25.254.100:80 0 0 0 0 0
-> 192.168.0.30:80 0 0 0 0 0
-> 192.168.0.40:80 0 0 0 0 0#清空
[root@DR-server ~]# ipvsadm -C

四、LVS实战案例

4.1、部署NAT模式集群

4.1.1、实验环境 

192.168.212.0（nat），192.168.159.0（only host）

4.1.2、实验步骤

1、在RS1、RS2和client中下载httpd服务用来进行模拟访问web的测试

yum install httpd -y  # 下载apache模拟web页面
systemctl start httpd  # 开启httpd服务
systemctl enable --now httpd  #开启开机自启动
echo （自定义网页内容） > /var/www/html/index.html  # 这里注意只需要对RS1和RS2进行网页内容写入
# 举个例子    echo RS1 - 192.168.159.221 > /var/www/html/index.html
curl RS1/RS2的ip进行测试
# 举个例子    curl 192.168.159.221

从这里可以看到RS2其实也是可以（也是应该）curl到RS1中web内容的，毕竟集群的目的是分担访问网页的压力，如果两个web网页完全独立，那么集群的存在也没有意义了。

所以，这里建议把所以的实验机器的防火墙关闭并且关闭selinux或者设置selinux为permissive。

systemctl stop firewalld  # 关闭防火墙
systemctl disable --now firewalld  # 关闭开机自启动
getenforce  # 查看你目前的selinux的状态
setenforce 0  # 设置selinux的状态为permissive

所以的机器的这两个服务像这样即可，当然关闭服务更好。

以上就是NAT模式集群的基本环境配置

2、配置client向后端的网络通信

由于lvs中是有两个不同网段的网卡的，所以这里需要开启内核路由功能

sysctl -a | grep ip_forward  # 查看参数 net.ipv4.ip_forawrd=0
vim /etc/sysctl.conf  # 写入net.ipv4.ip_forawrd=1
sysctl -p  # net.ipv4.ip_forawrd=1

此时client应该可以访问到RS1和RS2，但是RS1和RS2是找不到client的，因为lvs、RS1和RS2中的网卡有仅主机模式的，此时是没有网关信息的。

这时候我们就需要给RS1和RS2加上网关，地址为lvs中仅主机模式的ip地址。

此时RS1和RS2除了ping不到client，其他的都是可以正常通信的。

3、在lvs上添加调度策略

#下载调度策略的软件ipvsadm
yum install ipvsadm -y  
# 不用开启服务就可以直接使用：管理内核模块IPVS，通过与IPVS交互从而实现效果ipvsadm -A -t 192.168.212.200:80 -s rr  # 添加一个虚拟机服务器并指定ip端口，以及类型为轮询
# 向已经存在的虚拟机服务器添加后端真实的服务器，并指定ip端口以及网络模式
ipvsadm -a -t 192.168.212.200:80 -r 192.168.159.221:80 -m  
ipvsadm -a -t 192.168.212.200:80 -r 192.168.159.222:80 -m
# 查看部署的调度策略
ipvsadm -Ln

4、测试

4.2、部署DR模式集群

4.2.1、实验环境   

192.168.212.0（nat），192.168.159.0（only host）

4.2.2、实验步骤

1、配置DR实验的基础环境

在DR模式的lvs集群实验中我们使用nginx来搭建web网页。

yum install nginx -y
systemctl start nginx  # 这里需要确保apache的服务是关闭的
systemctl stop httpd  # 开启的才需要关闭，本来就是关闭的就不用管echo （自定义内容） > /usr/share/nginx/html/index.html
curl RS的ip  # 查看网页部署的效果

2、配置全网通

此时client是可以正向进行通信的。

但是RS1和RS2是无法对client进行网络通信的，因为没有配置网关和内核路由转换。

但是此时还是不够，眼细的会发现这样的配置跟nat模式集群一样，怎么可能可以实现RS1访问client呢？

确实不行，所以此时我们需要对route进行一个网络伪装。

所以，此时需要对RS1、RS2和lvs进行网关配置，指向route的仅主机网卡的网络ip，就可以访问到route。

网络伪装

# 在route上进行配置
systemctl start firewalld
firewall-cmd  --add-masquerade

此时，就发现已经全网通了。

3、添加vip并抑制arp

在lvs、RS1和RS2中添加vip，添加的vip是可以和lvs的物理网卡ip一致的，但是不建议，每个ip有每个ip的职责，使用同一个可能会出现网络管理和功能拓展上的问题。

lvs和rs配置相同的vip的原因：

让 RS 能接收并处理目标为 VIP 的数据包（来自 Director 的转发）；

让 RS 能以 VIP 为源 IP 向客户端发送响应（符合 TCP/IP 协议的双向一致性）；

配合 ARP 参数限制，避免多节点 VIP 的 IP 冲突，同时保证客户端请求能正确路由到 Director 并转发给 RS。

# 在lvs和rs中执行
# vip放到lo中，是为了避免vip在物理网络中arp冲突，因为lo的IP地址仅本机可见，不会发送arp包。
ip addr add dev lo 192.168.159.123/32
# 查看
IP a

此时的client是单独curl到RS的，但是无法通过vip进行访问，因为有arp冲突。

抑制arp

在两个rs中设置lo不对外响应

[root@RS1 ~l# cat /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
[root@RS2 system-connections]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

此时的client就可以访问到vip了，但是发现只有RS2，因为没有配置ipvsadm的策略。

4、配置ipvsadm策略并验证

这里注意，lvs调度器的虚拟服务器的ip地址需要指定成client可以访问到的那个网段并且作为网络转换的ip地址。DR和nat的区别可以通过查看RS的类型来进行分辨。

[root@lvs ~]# ipvsadm -A -t 192.168.212.200:80 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.212.200:80 -r 192.168.159.221:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.212.200:80 -r 192.168.159.222:80 -g
[root@lvs ~]# ipvsadm -Ln

4.3、防火墙标签解决轮询错误

4.3.1、使用防火墙标签的原因

        以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出 现了一个轮询错乱的问题 当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上

4.3.2、实验环境

有一个lvs集群即可，模式随意，这里我使用的nat模式。

4.3.3、实验步骤

1、在RS上安装mod_ssl

yum install mod_ssl -y
systemctl restart httpd  # 如果启动不了，检查一下自己有没有httpd服务，没有就下载
yum install httpd -y
systemc    restart httpd
netstat -lntp | grep httpd

当你看到你的httpd有80和443端口的时候就说明环境你已经完成搭建。

2、配置ipvsadm策略并查看效果

ipvsadm -A -t 192.168.212.200:80 -s rr
ipvsadm -A -t 192.168.212.200:443 -s rr
ipvsadm -a -t 192.168.212.200:80 -r 192.168.159.221:80 -m
ipvsadm -a -t 192.168.212.200:80 -r 192.168.159.222:80 -m
ipvsadm -a -t 192.168.212.200:443 -r 192.168.159.221:443 -m
ipvsadm -a -t 192.168.212.200:443 -r 192.168.159.222:443 -m
ipvsadm -Ln

这里注意一下，后面跟着的后端RS的类型也很重要-g一般是DR模式的，看你使用的是哪一个lvs集群模式就需要指定相对应的RS类型，不然会RS的回包会出现错误。

 这里可以发现80和443端口使用的两种不同的轮询规则，这在访问页面的时候是不合适的。当你把商品添加到购物车后点击支付跳转到另一个页面的时候购物车里面的内容就会没有。

3、配置防火墙标签解决问题

在lvs中设置端口标签，人为指定80和443是一个整体

iptables -t mangle -A PREROUTING -d 192.168.212.200 -p tcp -m multiport --dports
80,443 -j MARK --set-mark [自定义]

4、测试一下

4.4、lvs持久链接

4.4.1、持久链接的原因

        在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单 纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单 粗暴，可能会导致调度失衡

4.4.2、解决方法

在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把 这个源的主机调度到了那个RS上

如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到 同一台RS上。

如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上

此时是未在lvs中配置记录信息和等待时长，可以看到会进行轮询。

ipvsadm -E -f 123 -s rr -p 10

此时可以看到在规则旁边多了一个persistent，这就是等待时长。

测试：可以看到此时，同一个源访问就是调度到之前访问的RS