LVS DR模式搭建、keepalived+LVS
準備工作
三臺機器，三臺機器均有公網IP。
-
調度器（director）
IP：192.168.159.131
-
real server 1 （real1）
IP：192.168.159.132
-
real server 2 （real2）
IP：192.168.159.133
- VIP：192.168.159.100
配置調度器（director）
創建一個腳本： [root@localhost ~]# vim /usr/local/sbin/lvs_dr.sh #! /bin/bash echo 1 > /proc/sys/net/ipv4/ip_forward #開啟端口轉發 ipv=/usr/sbin/ipvsadm vip=192.168.159.100 rs1=192.168.159.132 rs2=192.168.159.133 #註意這裏的網卡名字 ifdown ens33 ifup ens33 #在此重啟網卡的目的是避免重復設置命令行提供的IP ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up #綁定VIP到dir的虛擬網卡ens33:2 route add -host $vip dev ens33:2 #添加網關 $ipv -C $ipv -A -t $vip:80 -s wrr $ipv -a -t $vip:80 -r $rs1:80 -g -w 1 $ipv -a -t $vip:80 -r $rs2:80 -g -w 1 #設置ipvsadm規則，-g=gateway：使用默認網關（DR模式） 執行腳本： [root@localhost ~]# sh /usr/local/sbin/lvs_dr.sh 成功斷開設備 ‘ens33‘。 成功激活的連接（D-Bus 激活路徑：/org/freedesktop/NetworkManager/ActiveConnection/2） 查看地址： [root@localhost ~]# ip add 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:43:65:0b brd ff:ff:ff:ff:ff:ff inet 192.168.159.131/24 brd 192.168.159.255 scope global ens33 valid_lft forever preferred_lft forever inet 192.168.159.100/32 brd 192.168.159.100 scope global ens33:2 valid_lft forever preferred_lft forever inet6 fe80::cfb6:b956:82de:6f77/64 scope link valid_lft forever preferred_lft forever // vip 綁定到了ens33 網卡上
配置兩臺real server
分別在real1、real2上配置腳本： #!/bin/bash vip=192.168.8.100 #把vip綁定在lo上，是為了實現rs直接把結果返回給客戶端 ifdown lo ifup lo ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #以下操作為更改arp內核參數，目的是為了讓rs順利發送mac地址給客戶端 #參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
-
腳本定義/lo/arp_ignore和/all/arp_ignore的理解：
*0 - (默認值): 回應任何網絡接口上對任何本地IP地址的arp查詢請求- 1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求
- 2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內
- 3 - 不回應該網絡界面的arp請求，而只對設置的唯一和連接地址做出回應
- 4-7 - 保留未使用
- 8 -不回應所有（本地地址）的arp查詢
-
腳本定義/lo/arp_announce和/all/arp_announce的理解
- arp_announce:對網絡接口上，本地IP地址的發出的，ARP回應，作出相應級別的限制: 確定不同程度的限制,宣布對來自本地源IP地址發出Arp請求的接口
- 0 - (默認) 在任意網絡接口（eth0,eth1，lo）上的任何本地地址
- 1 -盡量避免不在該網絡接口子網段的本地地址做出arp回應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候很有用.此時會檢查來訪IP是否為所有接口上的子網段內ip之一.如果改來訪IP不屬於各個網絡接口上的子網段內,那麽將采用級別2的方式來進行處理.
- 2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通信的本地地址.首要是選擇所有的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 如果沒有合適的地址被發現,將選擇當前的發送網絡接口或其他的有可能接受到該ARP回應的網絡接口來進行發送.
執行腳本：
[root@localhost ~]# sh /usr/local/sbin/lvs_rs.sh
// 執行成功後無返回值查看路由表：
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.159.2 0.0.0.0 UG 100 0 0 ens33
192.168.159.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
192.168.159.100 0.0.0.0 255.255.255.255 UH 0 0 0 lo
// 可以看見vip的路由查看ip：
[root@localhost ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.159.100/32 brd 192.168.159.100 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever// vip 綁定到了lo上。
測試
- 在瀏覽器訪問vip：192.168.159.100 ，刷新網頁，訪問結果在real1、real2交替。
- 或者新開一臺虛擬機（同一網段），使用curl訪問。不能使用之前的三臺虛擬機訪問。
keepalived LVS
完整的架構需要兩臺服務器（角色為dir），分別安裝Keepalived工具，目的是實現高可用，但Keepalived本身也有負載均衡功能，所以本次使用可以只安裝一臺Keepalived。Keepalived內置了ipvsadm的功能，所以不需要安裝ipvsadm包，也不用編寫和執行lvs_dr腳本。
準備工作
準備三臺機器：
-
調度器（director）
IP：192.168.159.133；安裝keepalived
-
real server （real1）
IP：192.168.159.131；
-
real server （real2）
IP：192.168.159.132
- VIP：192.168.159.100
配置調度器（director）
安裝keepalived：
[root@centos04 ~]# yum install -y keepalived
自定義keepalived配置文件
[root@centos04 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
// 備用服務器上為 BACKUP
state MASTER
// 綁定vip的網卡為ens33，你的網卡和阿銘的可能不一樣，這裏需要你改一下
interface ens33
virtual_router_id 51
// 備用服務器上為90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.8.100
}
}
virtual_server 192.168.8.100 80 {
// (每隔10秒查詢realserver狀態)
delay_loop 10
// (lvs 算法)
lb_algo wlc
// 算法(DR模式)
lb_kind DR
// (同一IP的連接60秒內被分配到同一臺realserver)
persistence_timeout 0
// (用TCP協議檢查realserver狀態)
protocol TCP
real_server 192.168.8.134 80 {
// (權重)
weight 100
TCP_CHECK {
// (10秒無響應超時)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.8.135 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
啟動keepalived 服務：
[root@centos04 ~]# systemctl start keepalived
查看網卡信息：
[root@centos04 ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:bb:0b:5a brd ff:ff:ff:ff:ff:ff
inet 192.168.159.133/24 brd 192.168.159.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.159.100/32 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:febb:b5a/64 scope link
valid_lft forever preferred_lft forever
// vip 在ens33網卡上
查看ipvsadm規則：
[root@centos04 ~]# ipvsadm -ln
[root@centos04 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.159.100:80 wlc
-> 192.168.159.131:80 Route 100 0 0
-> 192.168.159.132:80 Route 100 0 0
// 如果規則和rs數量不一致，那可能是沒有規則的那臺機器沒有啟動nginx
// 在生產環境下，查看ipvsadm規則時，如果有機器沒有規則，則說明那臺機器可能宕機了配置real server
配置路由轉發腳本：
[root@localhost ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.159.100
#把vip綁定在lo上，是為了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作為更改arp內核參數，目的是為了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
執行腳本：
[root@real2 ~]# sh /usr/local/sbin/lvs_rs.sh測試
-
在瀏覽器訪問VIP：192.168.8.100，刷新網頁，訪問結果由real1、real2交替回復。
-
或者使用同網段的主機訪問vip，訪問結果由real1、real2交替回復。
[root@localhost ~]# curl 192.168.159.100
This is real server 2
[root@localhost ~]# curl 192.168.159.100
this is real server 1
[root@localhost ~]# curl 192.168.159.100
This is real server 2
[root@localhost ~]# curl 192.168.159.100
this is real server 1
LVS DR模式搭建、keepalived+LVS