第二章 负载均衡LB服务之LVS（二）
2.4 LVS实验案例
2.4.1 LVS集群配置思路
LVS配置集群其实比较简单，首先需要在LVS服务器安装ipvsadm、iptables-services服务，命令如下：
yum -y install ipvsadm iptables-services
然后创建集群，并指定算法，然后加入节点主机，设置工作模式即可。具体相关命令如下：
ipvsadm -A -t VIP:port -s 算法 --- -A 添加一个管理集群
ipvsadm -a -t VIP:port -r node主机ip:port -模式 -w 权重
--- -a 给某个集群添加node主机，-r 指定node主机信息 -t tcp 协议
--- –u udp协议 -模式：-m nat模式 -g dr模式 -i tun模式
ipvsadm -C ---清空集群设置
ipvsadm -L ---查看集群
ipvsadm-save -n > /etc/sysconfig/ipvsadm ---永久保存集群设置
2.4.2 NAT模式
NAT模式的实验，我们按下图部署实验环境：
实验中需要四台虚拟机，其中三台CentOS7.4做服务集群，一台windows做客户端。
我们首先按图中所示，配置各主机的ip，两台web服务配置网关指向LVS内网卡。然后两台web服务器上部署apache服务，页面分别为web1.test.com和web2.test.com，访问效果如下图所示：
注：其实在生产环境中，web节点服务器的页面应该是一样的，此处我们为了显示出LVS的均衡效果，故意设置成不同的页面。
然后，我们来配置LVS服务器。我们本可以逐步输入命令实现LVS集群效果，但是为了让LVS服务器每次重启，都可以启动LVS服务，所以，我们可以把配置命令写入到脚本中，这样设定脚本开机自动运行，就可以永久生效了。具体脚本如下：
vi /usr/lib/sysctl.d/00-system.conf
net.ipv4.ip_forward =1 ---开启路由
注：nat功能的前提是路由，所以要先开路由
systemctl restart network ---重启network服务，路由生效
vi /mnt/lvs_nat.sh ---编辑脚本
#!/usr/bin/bash
VIP=202.0.0.1 ---定义变量，指定服务ip，即VIP
iptables -F ---清空防火墙常规三链中规则
iptables -F -t nat ---清空nat代理链中规则
iptables -X ---清空计数器
iptables -Z ---清空自定义链
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -j MASQUERADE ---开nat
ipvsadm -C ---清空现有集群设置
ipvsadm -A -t $VIP:80 -s wrr ---创建集群，并指定算法为 wrr
ipvsadm -a -t $VIP:80 -r 192.168.10.1:80 -m -w 2 ---加入节点
ipvsadm -a -t $VIP:80-r 192.168.10.2:80 -m -w 3 ---加入节点
chmod a x /mnt/lvs_nat.sh ---给脚本增加执行权限
/mnt/lvs-nat.sh ---运行脚本
以上脚本中，首先清理了iptables防火墙策略，然后清理了原有集群。然后开启nat代理功能，在这里nat功能并未按照我们之前教材中讲过的用-j SNAT --to-source设置，而是直接用-j MASQUERADE开启了nat，其实功能是一样的，只是用MASQUERADE设置即直接用外网卡ip做代理ip，不用再--to-source明确指定了。然后使用ipvsadm –A命令创建集群，指定服务ip及端口，又指定了分配算法。然后给集群加入节点，并指定给节点分配是采用的模式，以及节点权重。
好了，运行完毕脚本，就可以使用客户机访问VIP验证LVS效果了：
使用客户端，多次访问VIP地址，可见到显示不同的页面，说明是被LVS分配到了内部不同的web节点上。而且再多访问几次会发现web2页面出现的次数更多一些，这是因为我们设定的web2服务器权重更高。
当访问成功后，我们可以使用 ipvsadm -L 查看一下配置好的集群信息：
图中可见集群服务器centos7-1即本机的http端口使用wrr算法，下面显示的是两台节点主机信息，Forward列表示转发模式为Masq（即nat），Weight列表示权重。
如果我们想要更改算法，可以使用下面命令：
ipvsadm -E -t 202.0.0.1:80-s wrr
更改完毕可以再次ipvsadm -L 查看到使用的是新算法了。
然后用 ipvsadm-save -n >/etc/sysconfig/ipvsadm 命令永久保存集群设置。
2.4.3 TUN隧道模式
隧道模式，我们使用上图的实验环境，LVS服务器单网卡，需要五台虚拟机，其中一台配置为路由器，开启路由功能。读者可根据上图自行配置各主机ip及网络环境。下面我们主介绍LVS服务器及节点服务器的配置。
首先LVS服务器配置完毕网卡ip后，安装ipvsadm、iptables-services软件包，然后编写如下脚本：
vim /mnt/lvs_tun.sh
#!/bin/bash
VIP=192.168.10.100
RIP1=192.168.10.2
RIP2=192.168.10.3
ipvsadm –C ---清除原有集群设置
ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 up
route add -host $VIP dev ens33:0
ipvsadm -A -t $VIP:80 -s wlc
ipvsadm -a -t $VIP:80 -r $RIP1:80 -i -w 1
ipvsadm -a -t $VIP:80 -r $RIP2:80 -i -w 1
chmod a x /mnt/lvs_tun.sh
为了与上面的nat模式区别清除，我们可以先清理一下iptables的链规则：
iptables -F ---清空防火墙常规三链中规则
iptables -F -t nat
./mnt/lvs_tun.sh ---执行脚本
上述脚本中，同样先定义了变量指定了VIP与内部节点服务器的真实ip，即RIP，然后清除了原有集群，再给网卡创建了子接口：ens33:0，并绑定了VIP。然后增加了一条静态路由，指示到达VIP的数据通信使用虚拟子接口发送数据，即走隧道通信。由此可知，LVS的TUN隧道模式，是通过虚拟子接口与节点服务器通信的，过程中实现二次封装。最后创建集群，加入节点服务器，当然，在这里我们也可以直接指定节点服务器的RIP，而不使用变量获取RIP的值。
好了，LVS服务器配置完毕，我们来查一下集群信息：
图中可见到转发类型为Tunnel，即隧道模式。
我们在来给web节点服务器配置VIP。同样给web节点主机编写脚本
vi /mnt/web.sh
#!/bin/bash
VIP=192.168.10.100
ifconfig tunl0 down ---注意，此处的tunl0最后两个字符是小写L和零
ifconfig tunl0 up ---重启隧道接口
ifconfig tunl0 $VIP broadcast $VIP netmask255.255.255.255 up
echo 1 >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/tunl0/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/tunl0/rp_filter
echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
route add -host $VIP dev tunl0
以上脚本中，先是创建了隧道接口tunl0，为了避免与曾经做过的隧道冲突，所以先重启了一下，然后给隧道接口绑定VIP，再下面的六行与arp相关的代码，是关闭arp功能的，上节我们讲过，LVS与节点主机都绑定VIP会被arp协议报ip冲突错误，所以关闭arp协议后就可以了。最后增加一条路由指定隧道通信。
chmod a x /mnt/web.sh
./mnt/web.sh ---执行脚本
两台web节点都运行上面的脚本，即可成功完成节点配置。
然后使用客户端多次访问http://192.168.10.100站点，即会发现是轮流访问到两台节点主机了。
2.4.4 DR直连模式
直连模式，使用上图中网络环境，共五台虚拟机。同样我们先配置好网络参数，然后配置好两台节点服务器的web服务。
然后我们仍然以编辑脚本的方式配置LVS服务器：
vi /mnt/lvs-dr.sh
#!/bin/bash
VIP=192.168.10.100
RIP1=192.168.10.2
RIP2=192.168.10.3
ifconfig ens33:0$VIP netmask 255.255.255.0 up
route add -host $VIP devens33:0
ipvsadm -C
ipvsadm -A -t $VIP:80 -swlc
ipvsadm -a -t $VIP:80 -r$RIP1:80 -g -w 1
ipvsadm -a -t $VIP:80 -r$RIP2:80 -g -w 1
chmod a x lvs-nat.sh
./lvs-dr.sh ---执行脚本
脚本中的配置思路，与TUN模式十分类似。
ipvsadm -L ---查看集群，可见Forward列显示是Route，表示直连模式
再来编写web节点服务器的脚本：
vi /mnt/web2.sh
#!/bin/bash
VIP=192.168.10.100
ifconfig lo:0 $VIPnetmask 255.255.255.255 broadcast $VIP
route add -host $VIP devlo:0
echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/rp_filter
echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
chmod a x web2.sh
./web2.sh ---执行脚本
这个脚本中，并未启动隧道接口，而是把VIP绑定给了主机内部的回环测试接口（loopback，即127.0.0.1接口）的子接口，增加的路由也是指定的lo的子接口。同样关闭了arp响应。
两台节点主机都执行web2.sh脚本后，即可以正常工作了。
然后可以使用客户机，多次访问http://192.168.10.100，证明LVS的均衡成功。
当然，一台节点服务器加入集群后，工作模式也是可以更改的，我们可以在LVS服务器上输入如下命令：
ipvsadm -e -t 192.168.10.100:80 -r 192.168.10.2:80 -i -w 1
但由于更改模式后，其他相关配置也需要相应的更改，不甚方便，所以这种操作使用较少。
