2. 程式人生 > >Nginx筆記(三)----Nginx+Keepalived主從配置(雙機主從熱備)+Tomcat叢集

Nginx筆記(三)----Nginx+Keepalived主從配置(雙機主從熱備)+Tomcat叢集

阿新 • • 發佈：2019-02-02

簡介

這種方案，使用一個VIP地址，前端使用2臺機器，一臺做主，一臺做備，但同時只有一臺機器工作，另一臺備機在主機器不出現故障的時候，永遠處於浪費狀態，對於伺服器不多的網站，該方案並不經濟實惠。

一、網路拓撲


四臺虛擬機器如下所示:


為什麼使用keepalived呢？

使用keepalived就用來做高可用的，提供虛擬VIP

二、軟體安裝

Nginx-Master和Nginx-Slave兩臺伺服器上的安裝操作完全一樣

1、更新系統
[[email protected] ~]# yum -y update
2、安裝依賴軟體
[[email protected] ~]# yum install -y libnl*
[
 
[email protected] ~]# yum -y install openssl openssl-devel kernel-devel        #可分別安裝
[[email protected] ~]# yum -y install gcc gcc-c++ autoconf automake make  #可分別安裝
[[email protected] ~]# yum install -y libnfnetlink-devel zlib zlib-devel gcc gcc-c++ openssl openssl-devel openssh

說明：

pcre: 用來作地址重寫的功能。
zlib：nginx 的gzip模組,傳輸資料打包，省流量（但消耗資源）。
openssl：提供ssl加密協議

安裝 mailx 包，用於傳送郵件 
[
 
[email protected] ~]# yum -y install mailx
[[email protected] ~]# mailx -V
12.5 7/5/10
[[email protected] ~]# vim /etc/nail.rc
set [email protected]（郵箱地址） 
set smtp=smtp.163.com（smtp伺服器） 
set [email protected](使用者名稱) 
set smtp-auth-password=xxxxxxxx（郵箱密碼） 
set smtp-auth=login
測試
[[email protected]
 
 ~]echo 123 | mailx -v -s "test" [email protected]
[[email protected] ~]echo "hello world" | mail -s 'test666' [email protected]
或者
[[email protected] ~]mailx -v -s "test" [email protected]<test.txt

3、安裝keepalived和nginx

3.1.1、下載

[[email protected] ~]# cd /usr/local/src/
[[email protected] src]# wget http://nginx.org/download/nginx-1.9.7.tar.gz
[[email protected] src]# wget wget http://www.keepalived.org/software/keepalived-1.3.5.tar.gz
3.1.2、解壓
[[email protected] src]# tar -zvxf nginx-1.9.7.tar.gz 
[[email protected] src]# cd nginx-1.9.7
3.1.3、建立Nginx使用者
[[email protected] nginx-1.9.7]# groupadd -g 1001 nginx  
[[email protected] nginx-1.9.7]# useradd -u 900 nginx -g nginx -s /sbin/nologin  
[[email protected] nginx-1.9.7]# tail -1 /etc/passwd  
nginx:x:900:1001::/home/nginx:/sbin/nologin
3.1.4、安裝Nginx 
[[email protected] nginx-1.9.7]#./configure --prefix=/usr/local/nginx --with-http_dav_module --with-http_stub_status_module --with-http_addition_module --with-http_sub_module --with-http_flv_module --with-http_mp4_module --with-http_ssl_module --with-http_gzip_static_module --user=nginx --group=nginx && make && make install
[[email protected] nginx-1.9.7]# ln -s /usr/local/nginx/sbin/* /usr/local/sbin/
3.1.5、安裝keepalived
[[email protected] src]# tar -zvxf keepalived-1.3.5.tar.gz 
[[email protected] src]# cd keepalived-1.3.5
[[email protected] keepalived-1.3.5]# ./configure
Keepalived configuration
------------------------
Keepalived version       : 1.3.5
Compiler                 : gcc
Preprocessor flags       :  -I/usr/include/libnl3 
Compiler flags           : -Wall -Wunused -Wstrict-prototypes -Wextra -g -O2  
Linker flags             : 
Extra Lib                : -lcrypto -lssl -lnl-genl-3 -lnl-3
Use IPVS Framework       : Yes
IPVS use libnl           : Yes
IPVS syncd attributes    : No
IPVS 64 bit stats        : No
fwmark socket support    : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
Use VRRP authentication  : Yes
With ip rules/routes     : Yes
SNMP vrrp support        : No
SNMP checker support     : No
SNMP RFCv2 support       : No
SNMP RFCv3 support       : No
DBUS support             : No
SHA1 support             : No
Use Debug flags          : No
Stacktrace support       : No
Memory alloc check       : No
libnl version            : 3
Use IPv4 devconf         : No
Use libiptc              : No
Use libipset             : No
init type                : systemd
Build genhash            : Yes
Build documentation      : No
[[email protected] keepalived-1.3.5]# make && make install
[[email protected] keepalived-1.3.5]# cp /usr/local/src/keepalived-1.3.5/keepalived/etc/init.d/keepalived /etc/init.d/keepalived
[[email protected] keepalived-1.3.5]# ll /etc/init.d/ | grep keepalived
-rwxr-xr-x  1 root root  1308 5月  28 16:01 keepalived
[[email protected] keepalived-1.3.5]# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[[email protected] keepalived-1.3.5]# mkdir /etc/keepalived
[[email protected] keepalived-1.3.5]# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
[[email protected] keepalived-1.3.5]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
將nginx和keepalive服務加入開機啟動服務
[[email protected] keepalived-1.3.5]# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
[[email protected] keepalived-1.3.5]# echo "/etc/init.d/keepalived start" >> /etc/rc.local

三、配置機器

3.1、先關閉SElinux(master和slave兩臺負載均衡機都要做)

[[email protected] ~]# vim /etc/sysconfig/selinux
#SELINUX=enforcing                      #註釋掉
#SELINUXTYPE=targeted                   #註釋掉
SELINUX=disabled                        #增加
[[email protected] ~]# setenforce 0     #使配置立即生效
setenforce: SELinux is disabled
3.2、關閉防火牆

systemctl stop firewalld.service    #停止firewall
systemctl disable firewalld.service #禁止firewall開機啟動
3.3、配置nginx

修改Nginx-Master的配置檔案:
[[email protected] src]# vim /usr/local/nginx/conf/nginx.conf
**********************************************Nginx-Master配置檔案*************************************

首先建立目錄

[[email protected] ~]# mkdir /usr/local/webapps

修改nginx配置檔案

[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
user nobody;

worker_processes 2;

events{
		worker_connections 1024; 
}

http{
		#設定預設型別為二進位制流
		default_type    application/octet-stream;

		server_names_hash_bucket_size   128;
		#指定來自client請求頭的headerbuffer大小。設定為32KB
		client_header_buffer_size   32k;
		#指定client請求中較大的訊息頭的快取最大數量和大小，這裡是4個32KB
		large_client_header_buffers 4 32k;
		#上傳檔案大小
		client_max_body_size 356m;
		#nginx的HttpLog模組指定，指定nginx日誌的輸出格式，輸出格式為access
		log_format access '$remote_addr - $remote_user [$time_local] "$request" '
				'$status $body_bytes_sent "$http_referer" '
				'"$http_user_agent" "$http_x_forwarded_for"';
		#access日誌存在未知
		access_log  /usr/local/nginx/logs/access.log    access;
		#開啟高效模式檔案傳輸模式，將tcp_nopush和tcp_nodelay兩個指另設定為on，用於防止網路堵塞。

		sendfile    on;
		tcp_nopush  on;
		tcp_nodelay on;
		#設定client連線保持活動的超時時間
		keepalive_timeout   65;
		server_tokens   off;
		#client請求主體讀取快取
		client_body_buffer_size 512k;
		proxy_connect_timeout   5;
		proxy_send_timeout      60;
		proxy_read_timeout      5;
		proxy_buffer_size       16k;
		proxy_buffers           4 64k;
		proxy_busy_buffers_size 128k;
		proxy_temp_file_write_size 128k;

		#fastcgi_connect_timeout 300;
		#fastcgi_send_timeout   300;
		#fastcgi_read_timeout   300;
		#fastcgi_buffer_timeout 300;
		#fastcgi_buffers 4 64k;
		#fastcgi_busy_buffers_size 128k;
		#fastcgi_temp_file_write_size 128k;

		#開啟gzip
		gzip    on;
		#同意壓縮的最小位元組數
		gzip_min_length 1k;
		#4個單位為16k的記憶體作為壓縮結果流快取
		gzip_buffers 4 16k;
		#設定識別HTTP協議版本號，預設是1.1
		gzip_http_version 1.1;
		#gzip壓縮比，可在1~9中設定，1壓縮比最小，速度最快。9壓縮比最大。速度最慢，消耗CPU
		gzip_comp_level 2;
		#壓縮的型別
		gzip_types text/plain application/x-javascript text/css application/xml;
		#讓前端的快取server混村經過的gzip壓縮的頁面
		gzip_vary   on;

		#Tomcat叢集
		upstream mycluster{
				 server 192.168.182.112:8080 weight=1;
				 server 192.168.182.113:8080 weight=1;
		}

		server{
				listen 80;
				server_name 192.168.131.110;
				charset    utf-8; #設定編碼為utf-8
				#root   html;

				location / {
				    root   html;
				    index  index.html index.htm;
				}

				#location ~ .*\.(jsp|do|action)$
				#location / {
				#			proxy_next_upstream http_502 http_504 error timeout invalid_header;
				#			proxy_pass http://mycluster;
				#			# 真實的clientIP
				#			proxy_set_header   X-Real-IP        $remote_addr; 
				#			# 請求頭中Host資訊
				#			proxy_set_header   Host             $host; 
				#			# 代理路由資訊。此處取IP有安全隱患
				#			proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
				#			# 真實的使用者訪問協議
				#			proxy_set_header   X-Forwarded-Proto $scheme;
				#}
				#靜態檔案交給nginx處理
				#location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
				#{
				#		root /usr/local/webapps;
				#		expires 30d;
				#}
				#靜態檔案交給nginx處理
				#location ~ .*\.(js|css)? $
				#{
				#		root /usr/local/webapps;
				#		expires 1h;
				#}
				error_page   500 502 503 504  /50x.html;  

				location = /50x.html {
					root   html;
				}

		}
}
**************************************************************Nginx-Slave配置檔案**************************************
[[email protected] ~]# mkdir /usr/local/webapps
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
user nobody;

worker_processes 2;

events{
		worker_connections 1024; 
}

http{
		#設定預設型別為二進位制流
		default_type    application/octet-stream;
		server_names_hash_bucket_size   128;
		#指定來自client請求頭的headerbuffer大小，設定為32KB
		client_header_buffer_size   32k;
		#指定client請求中較大的訊息頭的快取最大數量和大小，這裡是4個32KB
		large_client_header_buffers 4 32k;
		#上傳檔案大小
		client_max_body_size 356m;
		#nginx的HttpLog模組指定。指定nginx日誌的輸出格式，輸出格式為access
		log_format access '$remote_addr - $remote_user [$time_local] "$request" '
				'$status $body_bytes_sent "$http_referer" '
				'"$http_user_agent" "$http_x_forwarded_for"';
		#access日誌存在未知
		access_log  /usr/local/nginx/logs/access.log    access;
		#開啟高效模式檔案傳輸模式。將tcp_nopush和tcp_nodelay兩個指另設定為on。用於防止網路堵塞。
		sendfile    on;
		tcp_nopush  on;
		tcp_nodelay on;
		#設定client連線保持活動的超時時間
		keepalive_timeout   65;
		server_tokens   off;
		#client請求主體讀取快取
		client_body_buffer_size 512k;
		proxy_connect_timeout   5;
		proxy_send_timeout      60;
		proxy_read_timeout      5;
		proxy_buffer_size       16k;
		proxy_buffers           4 64k;
		proxy_busy_buffers_size 128k;
		proxy_temp_file_write_size 128k;

		#fastcgi_connect_timeout 300;
		#fastcgi_send_timeout   300;
		#fastcgi_read_timeout   300;
		#fastcgi_buffer_timeout 300;
		#fastcgi_buffers 4 64k;
		#fastcgi_busy_buffers_size 128k;
		#fastcgi_temp_file_write_size 128k;

		#開啟gzip
		gzip    on;
		#同意壓縮的最小位元組數
		gzip_min_length 1k;
		#4個單位為16k的記憶體作為壓縮結果流快取
		gzip_buffers 4 16k;
		#設定識別HTTP協議版本號。預設是1.1
		gzip_http_version 1.1;
		#gzip壓縮比，可在1~9中設定。1壓縮比最小。速度最快。9壓縮比最大，速度最慢，消耗CPU
		gzip_comp_level 2;
		#壓縮的型別
		gzip_types text/plain application/x-javascript text/css application/xml;
		#讓前端的快取server混村經過的gzip壓縮的頁面
		gzip_vary   on;

		upstream mycluster{
			 server 192.168.182.112:8080 weight=1;
			 server 192.168.182.113:8080 weight=1;
		 }

		server{
				listen 80;
				server_name 192.168.131.111;
				charset    utf-8; #設定編碼為utf-8
				#root   html;

		location / {
		    root   html;
		    index  index.html index.htm;
		}

		#location ~ .*\.(jsp|do|action)$
		#location / {
		#		proxy_next_upstream http_502 http_504 error timeout invalid_header;
		#		proxy_pass http://mycluster;
		#		# 真實的clientIP
		#		proxy_set_header   X-Real-IP        $remote_addr; 
		#		# 請求頭中Host資訊
		#		proxy_set_header   Host             $host; 
		#		# 代理路由資訊，此處取IP有安全隱患
		#		proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
		#		# 真實的使用者訪問協議
		#		proxy_set_header   X-Forwarded-Proto $scheme;
		#}
		#靜態檔案交給nginx處理
		#location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
		#{
		#		root /usr/local/webapps;
		#		expires 30d;
		#}
		#靜態檔案交給nginx處理
		#location ~ .*\.(js|css)$
		#{
		#		root /usr/local/webapps;
		#		expires 1h;
		#}
		error_page   500 502 503 504  /50x.html;  

		location = /50x.html {
			root   html;
		}

		}
}
修改之後使用命令檢查下是否有錯誤:
[[email protected] local]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

修改nginx的首頁

[[email protected] ~]# vim /usr/local/nginx/html/index.html
<!DOCTYPE html>
<html>
 <head> 
  <title>Welcome to Nginx-Master!</title> 
  <style>
	body {
		width: 35em;
		margin: 0 auto;
		font-family: Tahoma, Verdana, Arial, sans-serif;
	 }
 </style> 
 </head> 
 <body> 
  <h1>Welcome to Nginx-Master!</h1> 
  <h1><b>Nginx-Master:192.168.182.110</b></h1> 
  <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p> 
  <p>For online documentation and support please refer to <a href="http://nginx.org/">nginx.org</a>.<br /> Commercial support is available at <a href="http://nginx.com/">nginx.com</a>.</p> 
  <p><em>Thank you for using nginx.</em></p>  
 </body>
</html>

[[email protected] ~]# vim /usr/local/nginx/html/index.html
<!DOCTYPE html>
<html>
 <head> 
  <title>Welcome to Nginx-Slave!</title> 
  <style>
	body {
		width: 35em;
		margin: 0 auto;
		font-family: Tahoma, Verdana, Arial, sans-serif;
	 }
 </style> 
 </head> 
 <body> 
  <h1>Welcome to nginx Nginx-Slave!</h1> 
  <h1><b>Nginx-Slave:192.168.182.111</b></h1> 
  <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p> 
  <p>For online documentation and support please refer to <a href="http://nginx.org/">nginx.org</a>.<br /> Commercial support is available at <a href="http://nginx.com/">nginx.com</a>.</p> 
  <p><em>Thank you for using nginx.</em></p>  
 </body>
</html>

分別訪問兩個Nginx，http://192.168.182.110,http://192.168.182.111





3.4、keepalived配置

3.4.1、建立keepalived的pid目錄

[[email protected] ~]# mkdir -p /usr/local/keepalived/var/run/
[[email protected] ~]# vi /usr/local/keepalived/var/run/keepalived.pid

3.4.2、修改Nginx-Master負載機上的keepalived配置

[[email protected] ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[[email protected] ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

############################ 全域性配置 #############################
  
global_defs {

    # 定義管理員郵件地址,表示keepalived在發生諸如切換操作時需要傳送email通知,以及email傳送給哪些郵件地址,可以有多個,每行一個
	notification_email {    
        #設定報警郵件地址，可以設定多個，每行一個。 需開啟本機的sendmail服務	
		[email protected]
	}
    #keepalived在發生諸如切換操作時需要傳送email通知地址，表示傳送通知的郵件源地址是誰
	notification_email_from [email protected] 
	
	#指定傳送email的smtp伺服器
	smtp_server 127.0.0.1      
	
	#設定連線smtp server的超時時間
	smtp_connect_timeout 30    
	
	#執行keepalived的機器的一個標識，通常可設為hostname。故障發生時，發郵件時顯示在郵件主題中的資訊。
	router_id swarm01   
}


############################ VRRPD配置 #############################

# 定義chk_http_port指令碼,指令碼執行間隔10秒，權重-5，檢測nginx服務是否在執行。有很多方式，比如程序，用指令碼檢測等等
vrrp_script chk_http_port {  

    #這裡通過指令碼監測    
    script "/opt/chk_nginx.sh"   
	
	#指令碼執行間隔，每2s檢測一次
    interval 2    
	
    #指令碼結果導致的優先順序變更，檢測失敗（指令碼返回非0）則優先順序 -5	
    weight -5     
	
    #檢測連續2次失敗才算確定是真失敗。會用weight減少優先順序（1-255之間）	
    fall 2     
	
    #檢測1次成功就算成功。但不修改優先順序	
    rise 1                    
}

#定義vrrp例項，VI_1 為虛擬路由的標示符，自己定義名稱，keepalived在同一virtual_router_id中priority(0-255)最大的會成為master，也就是接管VIP，當priority最大的主機發生故障後次priority將會接管
vrrp_instance VI_1 { 

    #指定keepalived的角色，MASTER表示此主機是主伺服器，BACKUP表示此主機是備用伺服器。注意這裡的state指定instance(Initial)的初始狀態，就是說在配置好後，這臺伺服器的初始狀態就是這裡指定的，
	#但這裡指定的不算，還是得要通過競選通過優先順序來確定。如果這裡設定為MASTER，但如若他的優先順序不及另外一臺，那麼這臺在傳送通告時，會發送自己的優先順序，另外一臺發現優先順序不如自己的高，
	#那麼他會就回搶佔為MASTER   
    state MASTER 
	
	#指定HA監測網路的介面。與本機 IP 地址所在的網路介面相同，可通過ip addr 檢視
    interface ens33      

    # 傳送多播資料包時的源IP地址，這裡注意了，這裡實際上就是在哪個地址上傳送VRRP通告，這個非常重要，
	#一定要選擇穩定的網絡卡埠來發送，這裡相當於heartbeat的心跳埠，如果沒有設定那麼就用預設的繫結的網絡卡的IP，也就是interface指定的IP地址    
    mcast_src_ip 192.168.182.110
	
	#虛擬路由標識，這個標識是一個數字，同一個vrrp例項使用唯一的標識。即同一vrrp_instance下，MASTER和BACKUP必須是一致的
    virtual_router_id 51    

    #定義優先順序，數字越大，優先順序越高，在同一個vrrp_instance下，MASTER的優先順序必須大於BACKUP的優先順序	
    priority 101 

    #設定MASTER與BACKUP負載均衡器之間同步檢查的時間間隔，單位是秒	
    advert_int 1        

    #設定驗證型別和密碼。主從必須一樣
    authentication {    
	
	    #設定vrrp驗證型別，主要有PASS和AH兩種
        auth_type PASS           
		
		#設定vrrp驗證密碼，在同一個vrrp_instance下，MASTER與BACKUP必須使用相同的密碼才能正常通訊
        auth_pass 1111           
    }
	
	#VRRP HA 虛擬地址 如果有多個VIP，繼續換行填寫
	#設定VIP，它隨著state變化而增加刪除，當state為master的時候就新增，當state為backup的時候則刪除，由優先順序決定
    virtual_ipaddress {          
        192.168.182.156
    }
    
	#執行nginx檢測指令碼。注意這個設定不能緊挨著寫在vrrp_script配置塊的後面（實驗中碰過的坑），否則nginx監控失效！！
	track_script {   

       #引用VRRP指令碼，即在 vrrp_script 部分指定的名字。定期執行它們來改變優先順序，並最終引發主備切換。	
	   chk_http_port                    
	}
}

3.4.3、修改Nginx-Slave負載機上的keepalived配置

[[email protected] ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[[email protected] ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived    
  
global_defs {
	notification_email {                
		[email protected]
	}
	  
	notification_email_from [email protected]  
	smtp_server 127.0.0.1                    
	smtp_connect_timeout 30                 
	router_id swaram02                 
}
  
vrrp_script chk_http_port {         
	script "/opt/chk_nginx.sh"   
	interval 2                      
	weight -5                       
	fall 2                   
	rise 1                  
}
  
vrrp_instance VI_1 {            
	state BACKUP           
	interface ens33            
	mcast_src_ip 192.168.182.111
	virtual_router_id 51        
	priority 99               
	advert_int 1               
	authentication {            
		auth_type PASS         
		auth_pass 1111          
	}
	virtual_ipaddress {        
		192.168.182.156
	}
 
	track_script {                     
	   chk_http_port                 
	}

}

四、測試keepalived主從

4.1、讓keepalived監控NginX的狀態：

1)經過前面的配置，如果master主伺服器的keepalived停止服務，slave從伺服器會自動接管VIP對外服務；
一旦主伺服器的keepalived恢復，會重新接管VIP。 但這並不是我們需要的，我們需要的是當NginX停止服務的時候能夠自動切換。
2)keepalived支援配置監控指令碼，我們可以通過指令碼監控NginX的狀態，如果狀態不正常則進行一系列的操作，最終仍不能恢復NginX則殺掉keepalived，使得從伺服器能夠接管服務。

4.2、如何監控NginX的狀態

最簡單的做法是監控NginX程序，更靠譜的做法是檢查NginX埠，最靠譜的做法是檢查多個url能否獲取到頁面。

注意：這裡要提示一下keepalived.conf中vrrp_script配置區的script一般有2種寫法：

1)通過指令碼執行的返回結果，改變優先順序，keepalived繼續傳送通告訊息，backup比較優先順序再決定。這是直接監控Nginx程序的方式。
2)腳本里面檢測到異常，直接關閉keepalived程序，backup機器接收不到advertisement會搶佔IP。這是檢查NginX埠的方式。

上文script配置部分，"killall -0 nginx"屬於第1種情況，"/opt/chk_nginx.sh" 屬於第2種情況。個人更傾向於通過shell指令碼判斷，但有異常時exit 1，正常退出exit 0，然後keepalived根據動態調整的 vrrp_instance 優先順序選舉決定是否搶佔VIP：

● 如果指令碼執行結果為0，並且weight配置的值大於0，則優先順序相應的增加
● 如果指令碼執行結果非0，並且weight配置的值小於0，則優先順序相應的減少
● 其他情況，原本配置的優先順序不變，即配置檔案中priority對應的值。

提示：
優先順序不會不斷的提高或者降低
可以編寫多個檢測指令碼併為每個檢測指令碼設定不同的weight（在配置中列出就行）
不管提高優先順序還是降低優先順序，最終優先順序的範圍是在[1,254]，不會出現優先順序小於等於0或者優先順序大於等於255的情況
在MASTER節點的 vrrp_instance 中 配置 nopreempt ，當它異常恢復後，即使它 prio 更高也不會搶佔，這樣可以避免正常情況下做無謂的切換，以上可以做到利用指令碼檢測業務程序的狀態，並動態調整優先順序從而實現主備切換。

另外：在預設的keepalive.conf裡面還有 virtual_server,real_server 這樣的配置，我們這用不到，它是為lvs準備的。

4.3、如何嘗試恢復服務

由於keepalived只檢測本機和他機keepalived是否正常並實現VIP的漂移，而如果本機nginx出現故障不會則不會漂移VIP。
所以編寫指令碼來判斷本機nginx是否正常，如果發現NginX不正常，重啟之。等待3秒再次校驗，仍然失敗則不再嘗試，關閉keepalived，其他主機此時會接管VIP；

根據上述策略很容易寫出監控指令碼。此指令碼必須在keepalived服務執行的前提下才有效！如果在keepalived服務先關閉的情況下，那麼nginx服務關閉後就不能實現自啟動了。

該指令碼檢測ngnix的執行狀態，並在nginx程序不存在時嘗試重新啟動ngnix，如果啟動失敗則停止keepalived，準備讓其它機器接管。

監控指令碼如下(master和slave都要有這個監控指令碼):

[[email protected] ~]# vim /opt/chk_nginx.sh
[[email protected] ~]# chmod +x /opt/chk_nginx.sh
#!/bin/bash
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
    /usr/local/nginx/sbin/nginx
    sleep 2
    counter=$(ps -C nginx --no-heading|wc -l)
    if [ "${counter}" = "0" ]; then
        /etc/init.d/keepalived stop
    fi
fi

測試一:

關閉主伺服器上的keepalived或nginx，vip是否會自動飄到從伺服器上

1)先後在master、slave伺服器上啟動nginx和keepalived，保證這兩個服務都正常開啟:

[[email protected] ~]# /usr/local/nginx/sbin/nginx 
[[email protected] ~]# /etc/init.d/keepalived start
[[email protected] ~]# /usr/local/nginx/sbin/nginx 
[[email protected] ~]# /etc/init.d/keepalived start
如果在啟動keepalived報如下的錯:
5月 28 21:22:39 Nginx-Master systemd[1]: PID file /usr/local/keepalived/var/run/keepalived.pid  not readable (yet?) after start.
5月 28 21:24:09 Nginx-Master systemd[1]: keepalived.service start operation timed out. Terminating.
5月 28 21:24:09 Nginx-Master systemd[1]: Failed to start LVS and VRRP High Availability Monitor.
5月 28 21:24:09 Nginx-Master systemd[1]: Unit keepalived.service entered failed state.
5月 28 21:24:09 Nginx-Master systemd[1]: keepalived.service failed.
檢視keepalived的程序
[[email protected] ~]# ps aux | grep keepalived
root      30898  0.0  0.0  48064  1040 ?        Ss   5月28   0:02 /usr/local/sbin/keepalived -D
root      30899  0.0  0.1  48064  1928 ?        S    5月28   0:02 /usr/local/sbin/keepalived -D
root      30900  0.0  0.0  48064  1544 ?        S    5月28   0:23 /usr/local/sbin/keepalived -D
root      76617  0.0  0.0 112720   988 pts/0    S+   09:49   0:00 grep --color=auto keepalived
然後將該程序寫入到檔案中
[[email protected] ~]# echo 30898 >> /usr/local/keepalived/var/run/keepalived.pid

2)檢視keepalived日誌

[[email protected] ~]# tail -f /var/log/messages

3)在主伺服器上檢視是否已經綁定了虛擬IP

[[email protected] ~]# ip addr
ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:e0:69:a0 brd ff:ff:ff:ff:ff:ff
inet 192.168.182.110/24 brd 192.168.182.255 scope global noprefixroute ens33
   valid_lft forever preferred_lft forever
inet 192.168.182.156/32 scope global ens33
   valid_lft forever preferred_lft forever
inet6 fe80::3064:9b6a:9819:180a/64 scope link noprefixroute 
   valid_lft forever preferred_lft forever
會發現在ens33網絡卡上多出了一個ip地址192.168.182.156，分別訪問三個地址:

192.168.182.110


192.168.182.111


192.168.182.156

會發現vip的地址上成功的繫結到了master上去了。


4)關閉主伺服器上的keepalived，vip會自動飄到從伺服器上

先檢視keepalived的狀態是在執行中:

[[email protected] ~]# /etc/init.d/keepalived status
● keepalived.service - LVS and VRRP High Availability Monitor
   Loaded: loaded (/usr/lib/systemd/system/keepalived.service; disabled; vendor preset: disabled)
   Active: active (running) since 二 2018-05-29 10:02:23 CST; 6min ago
  Process: 84372 ExecStart=/usr/local/keepalived/sbin/keepalived $KEEPALIVED_OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 42685 (keepalived)
    Tasks: 3
   Memory: 968.0K
   CGroup: /system.slice/keepalived.service
           ├─42685 /usr/local/keepalived/sbin/keepalived -D
           ├─42686 /usr/local/keepalived/sbin/keepalived -D
           └─42687 /usr/local/keepalived/sbin/keepalived -D

5月 29 10:02:23 Nginx-Master systemd[1]: Starting LVS and VRRP High Availability Monitor...
5月 29 10:02:23 Nginx-Master Keepalived[84372]: Starting Keepalived v1.3.5 (03/19,2017), git commit v1.3.5-6-g6fa32f2
5月 29 10:02:23 Nginx-Master systemd[1]: Started LVS and VRRP High Availability Monitor.

然後訪問VIP: http://192.168.182.156顯示的是Nginx-Master:192.168.182.110 這個nginx


接下來停止主伺服器上的keepalived，看從伺服器的keepalived是否已經已經接管了VIP，訪問： http://192.168.182.156/ 顯示的是Nginx-Slave:192.168.182.111


測試二:

接著驗證下nginx服務故障，看看keepalived監控nginx狀態的指令碼是否正常？

手動關閉master機器上的nginx服務，最多2秒鐘後就會自動起來（因為keepalive監控nginx狀態的指令碼執行間隔時間為2秒）

[[email protected] ~]# /usr/local/nginx/sbin/nginx -s stop
[[email protected] ~]# ps -ef|grep nginx
root 28401 24826 0 19:43 pts/1 00:00:00 grep --color=auto nginx
[[email protected] ~]# ps -ef|grep nginx
root 28871 28870 0 19:47 ? 00:00:00 /bin/sh /opt/chk_nginx.sh
root 28875 24826 0 19:47 pts/1 00:00:00 grep --color=auto nginx
[[email protected] ~]# ps -ef|grep nginx
root      99994  99993  0 11:17 ?        00:00:00 /bin/bash /opt/chk_nginx.sh
root      99999      1  0 11:17 ?        00:00:00 nginx: master process /usr/local/nginx/sbin/nginx
nobody   100001  99999  0 11:17 ?        00:00:00 nginx: worker process
nobody   100002  99999  0 11:17 ?        00:00:00 nginx: worker process
root     100005  93395  0 11:17 pts/0    00:00:00 grep --color=auto nginx

這種情況下是nginx掛掉了，會自動起來，keepalived掛掉了，會由Slave來接管。哪如果想要實現如下的效果:

1、當 keepalived 掛掉，那麼理論上說 keepalived 服務會重新啟動起來
2、當 nginx 掛掉後，那麼理論上說 keepalived 服務也會關閉
3、當 keepalived 狀態變為 Master 之後，傳送郵件

4、當 nginx-1 配置改動之後，nginx-2 的配置也會相應的更改，並且 reload

可參看這篇文章:https://blog.csdn.net/wanglei_storage/article/details/51175418

五、搭建Tomcat叢集

Tomcat叢集只要去掉nginx.conf配置檔案的以下注釋就可以了:

		#location ~ .*\.(jsp|do|action)$
		#location / {
		#		proxy_next_upstream http_502 http_504 error timeout invalid_header;
		#		proxy_pass http://mycluster;
		#		# 真實的clientIP
		#		proxy_set_header   X-Real-IP        $remote_addr; 
		#		# 請求頭中Host資訊
		#		proxy_set_header   Host             $host; 
		#		# 代理路由資訊，此處取IP有安全隱患
		#		proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
		#		# 真實的使用者訪問協議
		#		proxy_set_header   X-Forwarded-Proto $scheme;
		#}
		#靜態檔案交給nginx處理
		#location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
		#{
		#		root /usr/local/webapps;
		#		expires 30d;
		#}
		#靜態檔案交給nginx處理
		#location ~ .*\.(js|css)$
		#{
		#		root /usr/local/webapps;
		#		expires 1h;
		#}

參考:

https://www.cnblogs.com/kevingrace/p/6138185.html

https://www.cnblogs.com/chimeiwangliang/p/7768438.html

https://www.cnblogs.com/jhcelue/p/7387665.html

相關推薦

Nginx筆記(三)----Nginx+Keepalived主從配置(雙機主從熱備)+Tomcat叢集

簡介這種方案，使用一個VIP地址，前端使用2臺機器，一臺做主，一臺做備，但同時只有一臺機器工作，另一臺備機在主機器不出現故障的時候，永遠處於浪費狀態，對於伺服器不多的網站，該方案並不經濟實惠。一、網路拓撲四臺虛擬機器如下所示:為什麼使用keepalived呢？使用keepal

nginx+keepalived簡單雙機主從熱備

雙機主從熱備概述 可以兩臺機子互為熱備，平時各自負責各自的服務。在做上線更新的時候，關閉一臺伺服器的tomcat後，nginx自動把流量切換到另外一臺服務的後備機子上，從而實現無痛更新，保持服務的持續性，提高服務的可靠性，從而保證伺服器7*24小時執行。   首先使用keepalived虛擬V

mysql5.7雙機主主熱備

熱備這個東西必然消耗資源，對mysql應用的影響暫時還沒有研究，對mysql操作頻繁的場景下必然會有影響。 資料需要備份的請參考我的博文 mysql資料備份 先下載mysql的rpm安裝包。本文件預設是離線環境。 若無特殊說明，操作預設雙機都要進行。 首先下載rpm安裝包 mysql

Nginx筆記02-nginx常用參數配置說明

win 事件驅動 出現 有客 display 只需要 byte 系統資源 spa nginx的主配置文件是nginx.conf，這裏主要針對這個文件進行說明 1.主配置文件nginx.conf 2.nginx配置文件的結構 從上面的配置文件中我們可以總結出nginx

Nginx+Keepalive高可用之主從配置

高可用 nginx keepalived 實驗環境 操作系統：CentOS 7.4 1708 軟件安裝：yum -y install epel-release && yum -y install nginx keepalived Nginx+Keepalived NodeA：

群集架構篇——nginx反向代理+keepalived雙機熱備+tomcat伺服器池+後端資料庫

群集架構篇——nginx反向代理+keepalived雙機熱備+tomcat伺服器池+後端資料庫 實驗所需   兩臺nginx都佈置了keepalived   漂移地址 192.168.30.100  Nginx    

群集架構篇 ——nginx反向代理+keepalived雙機熱備+tomcat伺服器池+後端資料庫

首先準備好兩臺nginx，兩臺tomcat,一臺mysql資料庫,如下NginxIP地址：192.168.20.39（lvs01）192.168.20.40（lvs02）漂移地址：192.168.20.66TomcatIP地址：192.168.20.41（TM01）192.168.20.42（TM02）Mys

群集架構篇 ?——nginx反向代理+keepalived雙機熱備+tomcat服務器池+後端數據庫

rest ipaddress base oot kill tomcat8 orm caf 1.4 首先準備好兩臺nginx，兩臺tomcat,一臺mysql數據庫,如下NginxIP地址：192.168.20.39（lvs01）192.168.20.40（lvs02）漂移地

群集架構篇——nginx反向代理+keepalived雙機熱備+tomcat服務器池+後端數據庫

virtual def set defs efault ddd .tar.gz web-inf 執行權限 一、系統環境 1、2臺CentOS 7作為nginx服務器綁定同一塊虛擬網卡：vnet1對應的IP分別為：192.168.80.100192.168.80.1102、2

nginx學習三 nginx配置項解析詳解及程式碼實現

nginx配置項解析詳解及程式碼實現 0回顧  在上一節，用nginx簡單實現了一個hello world程式：當我們在瀏覽器中輸入lochost/hello ，瀏覽器就返回：hello world。為什麼會這樣呢，簡單一點說就是當我們請求訪問hello這個服務，ngi

Nginx教程(三) Nginx日誌管理

代理服務器 pla load 配置文件 404頁 base lsp bsp 知識 Nginx教程(三) Nginx日誌管理 1 日誌管理 1.1 Nginx日誌描述 通過訪問日誌，你可以得到用戶地域來源、跳轉來源、使用終端、某個URL訪問量等相關

Nginx教程(三) Nginx日誌管理 （轉）

Nginx教程(三) Nginx日誌管理   1 日誌管理 1.1 Nginx日誌描述 通過訪問日誌，你可以得到使用者地域來源、跳轉來源、使用終端、某個URL訪問量等相關資訊；通過錯誤日誌，你可以得到系統某個服務或server的效能瓶頸等。因此，將日誌好好利用，你可以得到很多有價值的資訊。

機會網路：ONE學習筆記三：defualt_settings.txt配置檔案解讀

本文參考了 https://www.cnblogs.com/SunSmileCS/archive/2012/12/28/2836927.html 以及https://blog.csdn.net/wb7931021/article/details/41077047 本文屬於學習並做筆

redis(三)redis+Keepalived主從熱備秒級切換

一 簡介 安裝使用centos 5.10  Master 192.168.235.135 Slave 192.168.235.152 Vip 192.168.235.200 編譯環境 yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pc

Spring學習筆記三： 通過註解配置Bean

一、在 classpath 中掃描元件 元件掃描(component scanning): Spring 能夠從 classpath 下自動掃描, 偵測和例項化具有特定註解的元件. 特定元件包括: @Component: 基本註解, 標識了一個受 S

MYSQL雙機主從環境搭建（流程簡單）

MYSQL資料庫沒有增量備份的機制，當資料量太大的時候備份是一個很大的問題。還好mysql資料庫提供了一種主從備份的機制，其實就是把主資料庫的所有的資料同時寫到備份資料庫中，實現mysql資料庫的熱備份。要想實現雙機的熱備首先要了解主從資料庫伺服器的版本的需求。要實現熱備mysql的版本都要高於3.2

keepalived安裝與nginx的主從雙機熱備配置

nginx檢測指令碼 #!/bin/bash run=`ps -C nginx --no-header | wc -l` if [ $run -eq 0 ] then /usr/local/nginx/sbin/nginx -s stop /usr/local/nginx/sbin

使用Keepalived配置主從熱備實現Nginx高可用（HA）

_id keep 過去 基礎 inter icmp interval RR 轉發 Keepalived 簡要介紹 Keepalived 是一種高性能的服務器高可用或熱備解決方案,Keepalived 可以用來防止服務器單點故障的發生,通過配合 Nginx 可以實現 w

Nginx + keepalived 雙機熱備（主從模式）

綁定 html 負載均衡 基於 模式 主備 class 接管 主主 雙機高可用一般是通過虛擬IP（飄移IP）方法來實現的，基於Linux/Unix的IP別名技術。 雙機高可用方法目前分為兩種： 1）雙機主從模式：即前端使用兩臺服務器，一臺主服務器和一臺熱備服務器，正常情況

解決Nginx + Keepalived主從雙機熱備+自動切換，實現負載均衡及高可用

解決Nginx + Keepalived主從雙機熱備+自動切換，實現負載均衡及高可用 IP 伺服器 服務 192.168.1.10 lb-node1 Nginx、kee