前言：
常用的負載均衡軟體有lvs、haproxy、nginx，一般lvs和keeplavied一起使用
lvs是實現負載均衡作用的，即將客戶端的需求採用特定的負載均衡演算法分發到後端的web應用伺服器上，keepalived是用來實現高可用的，即保證主lvs宕機後，從lvs可以在很短時間頂上，從而保證了系統或網站的穩定性


注意事項
1、虛擬ip不需物理機，設定ip前先本機ping以下看是否被人佔用，使用者訪問的是虛擬ip
2、lvs使用DR模式，效率最高，物理機必須繫結虛擬ip
3、lvs slave使用ip a是檢視不到虛擬ip的，如果可以看到，可能前言：virtual_router_id和master沒設定成一樣
4、我這裡的web伺服器是apache，也可以裝tomcat，埠號就要改成8080，但是lvs和keepalived配置是一樣的
5、keepAlived中的通知郵箱好像必須要寫，否則不正確
6、keepAlived中的網絡卡裝置要注意，按照伺服器的實際情況填寫

7、slave的優先順序priority必須小於master的priority，如果無法轉發，檢視日誌/var/log/messages

8、使用時，必要的埠要開啟或者關掉防火牆和selinux，否則有時會無法服務，方法：
# service iptables stop
# setenforce 0
# vi /etc/sysconfig/selinux
SELINUX=disabled
然後重啟伺服器reboot


主機環境如下：
192.168.20.198　 LVS_VIP（VIP：Virtual IP）
192.168.20.103　 LVS_Master　　  
192.168.20.104　 LVS_Backup
192.168.20.193　 WEB1_RealServer
192.168.20.194　 WEB2_RealServer
克隆：我們先安裝配置好一層的一個伺服器，其他伺服器使用克隆方式。
 
一、伺服器準備

1、安裝虛擬機器VirtualBox_5.0.24.8355_Win.exe
2、安裝CentOS 6.6
3、裝完然後進行上網ip配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
HWADDR=08:00:27:63:8E:2D
TYPE=Ethernet
UUID=23cfb80e-aaaf-4370-b611-2c10cee9df02
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
IPADDR=192.168.20.103
NETMASK=255.255.255.0
GATEWAY=192.168.20.1
 

二、安裝ipvsadm和KeepAlived

cd /usr/src 
yum install gcc make wget openssl-devel popt-devel libnl libnl-devel kernel-devel ipvsadm -y
ln -s /usr/src/kernels/2.6.32-642.3.1.el6.x86_64/ /usr/src/linux  
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz 
tar zxvf keepalived-1.2.7.tar.gz  
cd keepalived-1.2.7  
./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/
make && make install  
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
mkdir /etc/keepalived  
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/  
cp /usr/local/sbin/keepalived /usr/sbin/

知識點：ipvsadm理解為IPVS管理工具；LVS（Linux Virtual Server）的核心為IPVS（IP Virtual Server），從Linux核心版本2.6起，IPVS模組已經編譯進了Linux核心，
使用yum命令進行安裝，系統會選擇最適合核心版本的ipvsadm，上面的kernel路徑自己去用tab鍵弄出來

keepalived安裝成功會提示:

install -m 644 ../doc/man/man1/genhash.1 /usr/local/share/man/man1
make[1]: Leaving directory `/etc/sysconfig/network-scripts/keepalived-1.2.7/genhash'

三、配置KeepAlived （重點）
1、開啟IP Forward 功能（LVS現有三種負載均衡規則都需要開啟此功能）
vi /etc/sysctl.conf  
開啟後修改裡面"net.ipv4.ip_forward = 1"
修改好後儲存退出，執行如下命令使設定立即生效
sysctl -p
2、KeepAlivde的配置
vi /etc/keepalived/keepalived.conf
（啟動KeepAlived時，它預設會去/etc/keepalived下面找它的配置檔案，所以上面命令中我們已經將這個配置檔案複製過來了。現在進行修改）

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_MASTER
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 60
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.20.198
    }
}

virtual_server 192.168.20.198 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    #persistence_timeout 50
    protocol TCP

    real_server 192.168.20.193 80 {  
        weight 1  
        TCP_CHECK {  
            connect_timeout 3  
            nb_get_retry 3  
            delay_before_retry 3  
	    connect_port 80
        }  
    } 
	real_server 192.168.20.194 80 {  
        weight 1  
        TCP_CHECK {  
            connect_timeout 3  
            nb_get_retry 3  
            delay_before_retry 3
	    connect_port 80	
        }  
    } 
}

以上就完成了keepAlived的配置，下面進行啟動

chkconfig keepalived on
service keepalived start 
#檢視程序
[[email protected] ~]# ps aux | grep keepalived
root      1229  0.3  0.2  42168  1016 ?        Ss   16:44   0:08 keepalived -D
root      1231  1.4  0.4  44396  2292 ?        S    16:44   0:31 keepalived -D
root      1232  1.0  0.3  44272  1640 ?        S    16:44   0:22 keepalived -D
root      1292  0.0  0.1 103252   864 pts/0    S+   17:20   0:00 grep keepalived

<span style="font-size:10px;">#<span style="font-family: Helvetica, Tahoma, Arial, sans-serif; line-height: 25.2px;">檢視下虛擬IP是否已經加上（重要） 如果看到虛擬ip :192.168.20.198說明keepalived啟動正常
</span></span>[[email protected] ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:63:8e:2d brd ff:ff:ff:ff:ff:ff
    inet 192.168.20.103/24 brd 192.168.20.255 scope global eth0
    inet 192.168.20.198/32 scope global eth0
    inet6 fe80::a00:27ff:fe63:8e2d/64 scope link tentative dadfailed
       valid_lft forever preferred_lft forever

還有3個命令在先列示下，並不用執行顯示叢集中伺服器ip資訊：ipvsadm -ln檢視日誌：tail -f /var/log/messages檢視請求轉發情況：ipvsadm -lcn | grep 虛擬IP==>>至此，LVS_MASTER伺服器已經配置好並啟動了，接下來我們配置web伺服器

四、web伺服器WEB1_RealServer的配置
1、將之前搭建好的虛擬機器103克隆一個（virtualbox中，右鍵虛擬機器——複製——輸入相關名稱等資訊 確定就行）
配置虛擬IP啟動指令碼

vi /etc/init.d/realserver.sh  
#在檔案中輸入如下指令碼：
#!/bin/bash  
SNS_VIP=192.168.203.107  
. /etc/rc.d/init.d/functions  
case "$1" in  
start)  
 ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP  
 /sbin/route add -host $SNS_VIP dev lo:0  
 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce  
 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce  
 sysctl -p >/dev/null 2>&1  
 echo "RealServer Start OK"  
 ;;  
stop)  
 ifconfig lo:0 down  
 route del $SNS_VIP >/dev/null 2>&1  
 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce  
 echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore  
 echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce  
 echo "RealServer Stoped"  
 ;;  
 *)  
 echo "Usage: $0 {start|stop}"  
 exit 1  
esac  
exit 0

然後儲存退出

2、安裝配置apache

yum -y install httpd
chkconfig httpd on
service httpd start

為了方便測試
在 /var/www/html/index.html 輸入 web1 192.168.20.193
echo "web1 192.168.20.193" > /var/www/html/index.html

3、啟動虛擬IP的指令碼，執行後會看到網路有一個虛擬IP：lo:0處有個192.168.20.198，就是最開始設定的虛擬ip

sh /etc/init.d/realserver.sh start    
ifconfig  
[[email protected] ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 08:00:27:63:8E:2D
          inet addr:192.168.20.194  Bcast:192.168.20.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe63:8e2d/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5645428 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2349063 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:379129935 (361.5 MiB)  TX bytes:150050719 (143.0 MiB)

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:93 errors:0 dropped:0 overruns:0 frame:0
          TX packets:93 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:6634 (6.4 KiB)  TX bytes:6634 (6.4 KiB)

lo:0      Link encap:Local Loopback
          inet addr:192.168.20.198  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1

4、去LVS_MASTER伺服器的終端檢視下ipvsadm，檢視已經連線上了WEB1伺服器，執行命令

[[email protected] network-scripts]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.20.198:80 rr
  -> 192.168.20.193:80            Route   1      0          0

已經可以看到有伺服器加入進來了，此時我們訪問網頁http://192.168.20.107:8080，出現介面顯示web1 192.168.20.193；
OK，至此已經能實現負載均衡了，接下來我們通過克隆實現多個主機的試驗

五、配置lvs slave、web2伺服器
1、從LVS_MASTER克隆一個LVS_BACKUP伺服器，然後修改其中的引數，MASTER與BACKUP配置僅三處不同：global_defs中的router_id、vrrp_instance中的state、priority
（注意keepAlived的配置檔案中有一個網絡卡裝置，虛擬機器的網絡卡裝置可能是不一樣的，有的是eth0，有的是eth1，所以也是要改動的，否則從伺服器的伺服器很有可能服務不正常）
配置好的如下文：

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_BACKUP
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 60
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.20.198
    }
}

virtual_server 192.168.20.198 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    #persistence_timeout 50
    protocol TCP

    real_server 192.168.20.193 80 {  
        weight 1  
        TCP_CHECK {  
            connect_timeout 3  
            nb_get_retry 3  
            delay_before_retry 3
			connect_port 80			
        }  
    } 
	real_server 192.168.20.194 80 {  
        weight 1  
        TCP_CHECK {  
            connect_timeout 3  
            nb_get_retry 3  
            delay_before_retry 3
			connect_port 80
        }  
    } 
}

2、從WEB1_RealServer克隆一個WEB2_RealServer，將tomcat的index.html檔案改為web2 192.168.20.194。（這裡的IP是我測試的，您的可以自定義）
啟動realserver.sh指令碼。


3、至此我們已經虛擬出2個LVS伺服器，一對主從；2個WEB伺服器，web1和web2。接下來我們進行測試，看能否滿足我們的初始需求


4、測試
瀏覽器訪問虛擬ip 192.168.20.198，多重新整理幾次會看到從不同物理機返回的資訊

lvs_master檢視相關日誌

[[email protected] ~]# ps aux | grep keepalived
root      1229  0.9  0.2  42168  1016 ?        Ss   16:44   0:46 keepalived -D
root      1231  3.3  0.4  44396  2300 ?        S    16:44   2:45 keepalived -D
root      1232  2.1  0.3  44272  1640 ?        S    16:44   1:48 keepalived -D
root      1373  0.0  0.1 103252   860 pts/0    S+   18:07   0:00 grep keepalived
[[email protected] ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP ql                                                                                        en 1000
    link/ether 08:00:27:63:8e:2d brd ff:ff:ff:ff:ff:ff
    inet 192.168.20.103/24 brd 192.168.20.255 scope global eth0
    inet 192.168.20.198/32 scope global eth0
    inet6 fe80::a00:27ff:fe63:8e2d/64 scope link tentative dadfailed
       valid_lft forever preferred_lft forever
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.20.198:80 rr
  -> 192.168.20.193:80            Route   1      2          0
  -> 192.168.20.194:80            Route   1      0          0
[[email protected] ~]# ipvsadm -lcn | grep 192.168.20.198
TCP 07:55  ESTABLISHED 192.168.20.24:56422 192.168.20.198:80  192.168.20.193:80
TCP 08:21  ESTABLISHED 192.168.20.24:56430 192.168.20.198:80  192.168.20.193:80
[[email protected] ~]# tail -f /var/log/messages
Jul 14 18:11:19 localhost Keepalived_vrrp[1232]: bogus VRRP packet received on eth0 !!!
Jul 14 18:11:19 localhost Keepalived_vrrp[1232]: VRRP_Instance(VI_1) Dropping received VRRP packet...
Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: ip address associated with VRID not present in received packet : 192.168.20.198
Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: one or more VIP associated with VRID mismatch actual MASTER advert
Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: bogus VRRP packet received on eth0 !!!
Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: VRRP_Instance(VI_1) Dropping received VRRP packet...

具體測試方法：

開啟每個伺服器的相關服務，關閉防火牆，開始進行測試。
1、測試LVS層
1）首先執行ip a命令，主伺服器會存在一個虛擬IP，從伺服器不會存在這個虛擬IP。現在瀏覽網頁顯示正常。虛擬IP如圖所示：
顯示叢集中伺服器ip資訊：ipvsadm -ln
檢視日誌：tail -f /var/log/messages
檢視請求轉發情況：ipvsadm -lcn | grep 虛擬IP
2）現在停掉LVS_MASTER的keepAlived服務，看LVS_BACKUP是否可以自動加上虛擬IP地址，並且開始轉發請求。
（注意keepAlived的配置檔案中有一個網絡卡裝置，虛擬機器的網絡卡裝置可能是不一樣的，有的是eth0，有的是eth1，所以也是要改動的，否則從伺服器的伺服器很有可能服務不正常）
之後你通過命令：ip a去分別檢視LVS_MASTER和LVS_BACKUP機器，結果正如預料一樣，BACKUP立即接管了MASTER的工作。
切換很快，訪問網頁：http://192.168.20.198也能正常顯示。
3）恢復主伺服器的keepAlived服務後，主伺服器立刻接替了從伺服器的工作，就不做截圖了。和第1）個正常效果是一樣的。
4）測試WEB伺服器，看能否正常提供服務。先斷掉WEB1，看下效果。
ipvsadm中的伺服器列表，已經去掉了WEB1伺服器，訪問網頁也只能訪問到WEB2伺服器了。
5）開啟WEB1，關掉WEB2。測試正常