18.6 負載均衡集群介紹

18.7 LVS介紹

18.8 LVS調度算法

18.9/18.10 LVS NAT模式搭建

18.6 負載均衡集群介紹

主流開源軟件LVS、keepalived、haproxy、nginx等

其中LVS屬於4層（網絡OSI 7層模型），nginx屬於7層，haproxy既可以認為是4層，也可以當做7層使用

keepalived的負載均衡功能其實就是lvs

lvs這種4層的負載均衡是可以分發除80外的其他端口通信的，比如MySQL的，而nginx僅僅支持http，https，mail，haproxy也支持MySQL這種

相比較來說，LVS這種4層的更穩定，能承受更多的請求，而nginx這種7層的更加靈活，能實現更多的個性化需求

18.7 LVS介紹

LVS是由國人章文嵩開發

流行度不亞於apache的httpd，基於TCP/IP做的路由和轉發，穩定性和效率很高

LVS最新版本基於Linux內核2.6，有好多年不更新了

LVS有三種常見的模式：NAT、DR、IP Tunnel

LVS架構中有一個核心角色叫做分發器（Load balance），它用來分發用戶的請求，還有諸多處理用戶請求的服務器（Real Server，簡稱rs）

LVS NAT模式

這種模式借助iptables的nat表來實現

用戶的請求到分發器後，通過預設的iptables規則，把請求的數據包轉發到後端的rs上去

調度器有兩個IP，一個是公網IP，一個是內網IP，而真正服務器只有內網IP

rs需要設定網關為分發器的內網ip

用戶請求的數據包和返回給用戶的數據包全部經過分發器，所以分發器成為瓶頸

在nat模式中，只需要分發器有公網ip即可，所以比較節省公網ip資源

LVS IP Tunnel模式

這種模式，需要有一個公共的IP配置在分發器和所有rs上，我們把它叫做vip

客戶端請求的目標IP為vip，分發器接收到請求數據包後，會對數據包做一個加工，會把目標IP改為rs的IP，這樣數據包就到了rs上

rs接收數據包後，會還原原始數據包，這樣目標IP為vip，因為所有rs上配置了這個vip，所以它會認為是它自己

LVS DR模式

這種模式，也需要有一個公共的IP配置在分發器和所有rs上，也就是vip

和IP Tunnel不同的是，它會把數據包的MAC地址修改為rs的MAC地址

rs接收數據包後，會還原原始數據包，這樣目標IP為vip，因為所有rs上配置了這個vip，所以它會認為是它自己

以上三種方法所能支持最大服務器數的估值是假設調度器使用100 MB網卡，調度器的硬件配置與後端服務器的硬件配置相同，而且是針對一般web服務的。使用更高的硬件配置（ 如千兆網卡和更快的處理器 ）作為調度器，調度器所能調度的服務器數量會相應增加。當應用不同時，服務器的數目也會相應地改變。所以，以上數據估計主要是為三種方法的伸縮性進行量化比較。

根據表21-1的比較可以看出，NAT模式適合小型的集群，機器數量不多，它的優勢是節省公網IP。TUN和DR相差不大，都能支撐較大規模的集群，但缺點是浪費公網IP。

18.8 LVS調度算法

輪詢 Round-Robin rr

加權輪詢 Weight Round-Robin wrr

最小連接 Least-Connection lc

加權最小連接 Weight Least-Connection wlc

基於局部性的最小連接 Locality-Based Least Connections lblc

帶復制的基於局部性最小連接 Locality-Based Least Connections with Replication lblcr

目標地址散列調度 Destination Hashing dh

源地址散列調度 Source Hashing sh

18.9/18.10 LVS NAT模式搭建

NAT模式搭建 – 準備工作

三臺機器

分發器，也叫調度器（簡寫為dir）

內網：37.101，外網：254.254（vmware僅主機模式）

rs1

內網：37.100，設置網關為37.101

rs2

內網：37.103，設置網關為37.101

三臺機器上都執行執行

systemctl stop firewalld; systemctl disable firewalld

systemctl start iptables-services; iptables -F; service iptables save

NAT模式搭建

在dir上安裝ipvsadm

yum install -y ipvsadm

在dir上編寫腳本，vim /usr/local/sbin/lvs_nat.sh //內容如下

#! /bin/bash

# director 服務器上開啟路由轉發功能

echo 1 > /proc/sys/net/ipv4/ip_forward

# 關閉icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 註意區分網卡名字，阿銘的兩個網卡分別為ens33和ens37

echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects

# director 設置nat防火墻

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.37.0/24 -j MASQUERADE

# director設置ipvsadm

IPVSADM='/usr/sbin/ipvsadm'

$IPVSADM -C

$IPVSADM -A -t 192.168.254.254:80 -s wlc -p 3

$IPVSADM -a -t 192.168.254.254:80 -r 192.168.37.100:80 -m -w 1

$IPVSADM -a -t 192.168.254.254:80 -r 192.168.37.103:80 -m -w 1

其中ipvsadm的-C選項可以清空規則，防止之前的規則有影響。-A增加Virtual server，-t為TCP，-s選項指定調度算法，wlc為帶權重的最小連接算法，-p指定超時時間（這裏的300為300秒，它表示300 秒內相同用戶的請求會一直被調度到同一臺rs上，在這裏建議你不要設置該參數，否則後續的檢驗結果會比較麻煩), -a增加rs , -r指定rs的IP，-m表示LVS的模式為NAT（masquerad），如果是-g表示LVS模式為DR，-i表示LVS模式為IP Tunnel，-w指定權重。

下面就該測試LVS的效果了，如果dir上有開啟Nginx服務器，需要把它關閉，否則會影響實驗效果：killall nginx

設置755權限：chmod 755 /usr/local/sbin/lvs_nat.sh

執行腳本：sh /usr/local/sbin/lvs_nat.sh

兩臺rs上都安裝nginx，開啟nginx：systemctl start nginx

設置兩臺rs的主頁，做一個區分，也就是說直接curl兩臺rs的ip時，得到不同的結果

100主機上：

curl localhost

103主機上

curl localhost

查看ipvsadm規則

ipvsadm –ln

通過網頁查看：

用curl命令訪問

連續訪問多次，一直請求到aming05上，這是因為在前面的腳本中設置-p參數，理論上在300秒內會一直請求到aming05上，重新編輯/usr/local/sbin/lvs_nat.sh腳本，把-p參數刪除，再次測試

實驗成功

2018.4.10 15周5次課