2. 程式人生 > >架構系列三：使用Keepalived+Nginx+tomcat實現叢集部署

架構系列三：使用Keepalived+Nginx+tomcat實現叢集部署

阿新 • • 發佈：2018-12-26

在前面的一篇文章《架構系列二：使用Nginx+tomcat實現叢集部署》，介紹了通過Nginx配置Tomct叢集，當其中一個Tomcat服務停止後，Nginx可自動識別並選擇另一個伺服器響應使用者請求，達到了Tomcat叢集的效果，那如果Nginx伺服器停掉後，就會導致整個應用不可用，因此引入了keepalived，通過keepalived配置Nginx叢集，保證Nginx的高可用性。

一、環境介紹
VM1：Ubuntu-S100 IP：192.168.130.128
VM2：Ubuntu-S101 IP：192.168.130.129
物理機：192.168.1.101 用於作客戶端
JDK：1.8.0_171
Tomcat：apache-tomcat-7.0.62
Keepalived：

二、叢集架構圖
先看下引入keepalived後的叢集架構圖
這裡寫圖片描述
我在兩臺VM上都安裝了Nginx及Keepalived，一臺作Master，另一臺作Backup，同時在VM上還部署了Web應用，要實現的場景是，當Master不工作後，作為Backup的這臺Nginx接替原來Master的工作，繼續提供服務，保證應用的高可用

安裝完成後，進入到nginx安裝目錄/usr/local/nginx/sbin，進行sudo ./nginx -t檢查nginx是否安裝成功，如果出現如下結果，說明nginx已經安裝成功

[email protected]:/usr/local/nginx/sbin$ sudo ./nginx -t
nginx: the
 
 configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

啟動Nginx服務並校驗

#啟動nginx服務
[email protected]:/usr/local/nginx/sbin$ sudo ./nginx 
#檢查nginx啟動程序，發現啟動了兩個程序，一個master，一個worker
[email protected]:/usr/local/nginx/sbin$ ps -ef | grep nginx
root     109164
 
   8174  0 16:27 ?        00:00:00 nginx: master process ./nginx
nobody   109165 109164  0 16:27 ?        00:00:00 nginx: worker process
ubuntu   109245 101144  0 16:34 pts/4    00:00:00 grep --color=auto nginx

在瀏覽器中輸入IP地址，校檢nginx服務是否成功啟動，如下結果說明Nginx服務已經啟動成功
這裡寫圖片描述

四、配置VM2上的Nginx+Tomcat叢集
進入安裝路徑/usr/local/nginx/conf編輯nginx.conf檔案，內容如下

#user  nobody;
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    upstream myserver{
       server 192.168.130.129:8080 weight=5 max_fails=2;
       server 192.168.130.128:8080 weight=1 max_fails=2;
    }
    server {
        listen       80;#監聽80埠
        server_name  myserver;

        #charset koi8-r;
        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
            proxy_pass http://myserver; #這裡的myserver必須要和upstream中指定的一致
            #proxy_redirect on;
            proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

重新檢查並載入配置檔案

[email protected]-virtual-machine:/usr/local/nginx/sbin$ sudo ./nginx -t
[email protected]-virtual-machine:/usr/local/nginx/sbin$ sudo ./nginx -s reload

由於我用的域名訪問，因此還需要修改hosts檔案，在/etc/hosts中增加如下記錄

#192.168.130.129是當前VM2的IP
192.168.130.129 myserver

五、在VM1、VM2上安裝Keepalived
登入http://www.keepalived.org/download.html，下載keepalived安裝包，這裡下載的是keepalived-1.4.5.tar.gz，先在VM1上安裝keepalived
解壓keepalived-1.4.5.tar.gz,得到keepalived-1.4.5目錄

tar -xf keepalived-1.4.5.tar.gz

進入到keepalived-1.4.5目錄下，執行如下命令安裝keepalived

cd keepalived-1.4.5/
# 配置，指定安裝目錄
./configure --prefix=/usr/local/keepalived-1.4.5
# 編譯nginx
sudo make
# 安裝nginx
sudo make install

為了將keepalived做成系統服務，需要拷貝一些檔案到指定的路徑下，如下：

sudo mkdir /etc/sysconfig

sudo cp /usr/local/keepalived-1.4.5/etc/sysconfig/keepalived  /etc/sysconfig/

sudo cp /usr/local/keepalived-1.4.5/sbin/keepalived /usr/sbin/

#注意這裡是copy原始碼包中的檔案，不是在安裝目錄的，這是一個啟動keepalived服務的指令碼，以守護程序方式執行
#Startup script for the Keepalived daemon
sudo cp /home/ubuntu/dev_tools/keepalived-1.4.5/keepalived/etc/init.d/keepalived  /etc/init.d/

sudo mkdir /etc/keepalived

sudo cp /usr/local/keepalived-1.4.5/etc/keepalived/keepalived.conf /etc/keepalived/

注意，經過以上步驟後，keepalived的配置檔案是/etc/keepalived/keepalived.conf，keepalived啟動時，預設會讀這個配置檔案

在/usr/local/keepalived-1.4.5/bin目錄下建立check_nginx.sh指令碼檔案，用於檢測nginx的狀態，指令碼內容如下

#!/bin/sh
if [ $(ps -C nginx --no-header | wc -l) -eq 0 ]; then
    /usr/local/nginx/sbin/nginx
fi

sleep 2
if [ $(ps -C nginx --no-header | wc -l) -eq 0 ]; then
    service keepalived stop
fi

解釋下上面指令碼
1.統計nginx的程序，如果數量為0，則認為nginx沒有啟動，就啟動nginx服務
2.等待2秒，再次統計nginx程序，如果數量還是0，則停止keepalived服務

配置VM1為Master
先看下VM1上的網絡卡資訊

[email protected]-virtual-machine:~$ ifconfig
ens33     Link encap:乙太網  硬體地址 00:0c:29:88:a0:46  
          inet 地址:192.168.130.128  廣播:192.168.130.255  掩碼:255.255.255.0
          inet6 地址: fe80::414b:266b:ba4f:57e9/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  躍點數:1
          接收資料包:519535 錯誤:0 丟棄:0 過載:0 幀數:0
          傳送資料包:128982 錯誤:0 丟棄:0 過載:0 載波:0
          碰撞:0 傳送佇列長度:1000 
          接收位元組:752557831 (752.5 MB)  傳送位元組:9951982 (9.9 MB)

發現VM的網絡卡裝置是ens33，這個引數在配置keepalived.conf檔案時要用到，下面開始修改配置檔案/etc/keepalived/keepalived.conf，最終配置如下

! Configuration File for keepalived
# global setting , notify email setting
global_defs {
   #存在於同一個網段中，一組keepalived的各個節點都有不同的名字
   #在全域性設定中，我們還可以設定管理員的email資訊等。
   router_id LVS_V1
}

#這個上面介紹的檢查指令碼，我們儲存在這個檔案中（注意檔案許可權）
vrrp_script chknginx {
    script "/usr/local/keepalived-1.4.5/bin/check_nginx.sh"
    #每2秒鐘，檢查一次
    interval 2
}

#keepalived例項設定，是最重要的設定資訊
vrrp_instance VI_1 {
    #state狀態MASTER表示是主要工作節點。
    #一個keepalived組中，最多隻有一個MASTER節點，當然也可以沒有
    state MASTER
    #例項所繫結的網絡卡裝置
    interface ens33
    #同一個keepalived組，節點的設定必須一樣，這樣才會被識別
    virtual_router_id 52
    #節點優先順序，BACKUP的優先順序一定要比MASTER的優先順序低
    priority 100
    #組播資訊傳送間隔，兩個節點設定必須一樣
    advert_int 1
    #實際的ens33上的固定ip地址
    mcast_src_ip=192.168.130.128
    #驗證資訊，只有驗證資訊相同，才能被加入到一個組中。
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #虛擬地址和繫結的埠，如果有多個，就繫結多個
    #dev 是指定浮動IP要繫結的網絡卡裝置號
    virtual_ipaddress {
        192.168.130.100 dev ens33
    }

    #設定的檢查指令碼
    #關聯上方的“vrrp_script chknginx”
    track_script {
        chknginx
    }
}

按以上步驟，在VM2上安裝keepalived，安裝完成後配置VM2為backup
配置VM2為BACKUP
先看下VM2上的網絡卡資訊

[email protected]-virtual-machine:/usr/local/keepalived-1.4.5/bin$ ifconfig
ens33     Link encap:乙太網  硬體地址 00:0c:29:40:cf:6a  
          inet 地址:192.168.130.129  廣播:192.168.130.255  掩碼:255.255.255.0
          inet6 地址: fe80::37cf:3643:3082:32e/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  躍點數:1
          接收資料包:509261 錯誤:0 丟棄:0 過載:0 幀數:0
          傳送資料包:152992 錯誤:0 丟棄:0 過載:0 載波:0
          碰撞:0 傳送佇列長度:1000 
          接收位元組:747391907 (747.3 MB)  傳送位元組:10269294 (10.2 MB)

發現VM的網絡卡裝置是ens33，這個引數在配置keepalived.conf檔案時要用到，下面開始修改配置檔案/etc/keepalived/keepalived.conf(這裡將keepalived.conf檔案作了下備份keepalived.conf.back)，最終配置如下

! Configuration File for keepalived
# global setting , notify email setting
global_defs {
   #存在於同一個網段中，一組keepalived的各個節點都有不同的名字
   #在全域性設定中，我們還可以設定管理員的email資訊等。
   router_id LVS_V1
}

#這個上面介紹的檢查指令碼，我們儲存在這個檔案中（注意檔案許可權）
vrrp_script chknginx {
    script "/usr/local/keepalived-1.4.5/bin/check_nginx.sh"
    #每2秒鐘，檢查一次
    interval 2
}

#keepalived例項設定，是最重要的設定資訊
vrrp_instance VI_1 {
    #這裡和Master不一樣
    state BACKUP
    #例項所繫結的網絡卡裝置
    interface ens33
    #同一個keepalived組，節點的設定必須一樣，這樣才會被識別
    virtual_router_id 52
    #節點優先順序，BACKUP的優先順序一定要比MASTER的優先順序低
    priority 99
    #組播資訊傳送間隔，兩個節點設定必須一樣
    advert_int 1
    #這裡和Master不一樣,是VM2的IP
    mcast_src_ip=192.168.130.129
    #驗證資訊，只有驗證資訊相同，才能被加入到一個組中。
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #虛擬地址和繫結的埠，如果有多個，就繫結多個
    #dev 是指定浮動IP要繫結的網絡卡裝置號
    virtual_ipaddress {
        192.168.130.100 dev ens33
    }

    #設定的檢查指令碼
    #關聯上方的“vrrp_script chknginx”
    track_script {
        chknginx
    }
}

啟動VM1，VM2上的keepalived服務

#啟動
service keepalived start
#停止
service keepalived stop

我們配置的繫結在VM1上的浮動IP：192.168.130.100,通過ifconfig是檢視不到的，要通過ip addr 命令才能檢視到
這裡寫圖片描述
到此，keepalived配置nginx叢集就已經配置完成

配置集群后，怎麼快速部署我們的應用呢？如果還一臺一臺機器部署，效率就太低了，能否實現一鍵部署的功能呢，請看：《架構系列四：一鍵部署應用到Tomcat叢集中》

相關推薦

架構系列二：使用Nginx+tomcat實現叢集部署

在前面的一篇文章《架構系列一：系統架構的演變》中，簡單介紹了系統架構的演變，從單機到叢集部署，現在的企業級專案，可以說99.99%以上的專案，都是叢集部署，當叢集中的一個節點出現故障，會自動切換另一個節點，實現故障自動轉移，現在就基於Nginx+tomcat搭建

架構系列三：使用Keepalived+Nginx+tomcat實現叢集部署

在前面的一篇文章《架構系列二：使用Nginx+tomcat實現叢集部署》，介紹了通過Nginx配置Tomct叢集，當其中一個Tomcat服務停止後，Nginx可自動識別並選擇另一個伺服器響應使用者請求，達到了Tomcat叢集的效果，那如果Nginx伺服器停掉後，

分散式架構學習之：Keepalived+Nginx實現高可用Web負載均衡

一、場景需求 二、Keepalived 簡要介紹 Keepalived 是一種高效能的伺服器高可用或熱備解決方案，Keepalived 可以用來防止伺服器單點故障的發生，通過配合 Nginx 可以實現 web 前端服務的高可用。 Keepalived 以 VRRP

LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡

前言 　　首先宣告下，由於這兩天找資料，看了不少部落格 ，但是出於不細心，參考者的部落格地址沒有記錄下來，所有文中要是出現了與大家部落格相同的地方，那麼請大家在評論區說明並附上部落格地址，我好引用進來；這裡表示抱歉了！ 　　另外，本文是在我的另一篇部落格主從熱備+負載均衡（LVS + kee

docker系列三： docker安裝tomcat

1. 配置daocloud：   為了提高docker下載映象的速度， DaoCloud在docker的推廣上下了很多功夫, 它的"Docker加速器"就非常不錯.解決了國內入門使用者的龜速加速映象的痛點. 解決步驟: 註冊成為DaoCloud使用者. 登入進入Da

keepalived+nginx+tomcat的簡單部署

自動運維--keepalived部署 keepalived+nginx Keepalived是一個基於VRRP協議來實現的服務高可用方案，也是一種高性能的服務器高可用或熱備解決方案，可以利用其來避免IP單點故障，類似的工具還有heartbeat、corosyn

windows下Nginx+Tomcat實現叢集以及Nginx實現動靜分離

最近學習了點Nginx的基礎配置，是真的強大。 簡單來說Nginx的作用： 負載均衡，實現專案的叢集分佈。意思就是同一個專案可以分別放在不同的伺服器裡，通過Nginx配置管理這多個伺服器，這樣子可以分擔伺服器壓力，將流量按負載均衡演算法分配給這些不同的伺服器，

LVS+keepalived+nginx+tomcat部署實現

run nbsp nor pass machine protoc keep ets ahp 拓撲如下所示 # 節點分布情況 LVS-dr-master eth0: 192.168.146.141 LVS-dr-slave eth0: 192.168.

ECharts 報表事件聯動系列三：柱狀圖，餅狀圖實現聯動

餅狀圖 img and int js函數 radius func get 執行 源碼如下： <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type

邊學邊敲邊記之爬蟲系列(三)：url去重策略及實現

一、前言 今天給大家分享的是，Python爬蟲裡url去重策略及實現。 二、url去重及策略簡介 1.url去重     從字面上理解，url去重即去除重複的url,在爬蟲中就是去除已經爬取過的url,避免重複爬取，既影響爬蟲效率，又產生冗

架構系列四：Maven實現動靜分離打war包及zip包

目標：實現Maven動靜分離打包，靜態資源打成zip包，動態資源打成war包，方便獨立部署 工程結構 打包前先看下工程結構 我的靜態資源都是放在webapp目錄下面，有css,fonts,html,images,js，根目錄下的login.js,log

《架構系列四：一鍵部署應用到Tomcat叢集中》

基於前面的《架構系列三：使用Keepalived+Nginx+tomcat實現叢集部署》，我們配置了nginx+Tomcat叢集，如果需要在VM1,VM2各部署6個Tomcat，這時候怎麼將應用部署到叢集中呢，如果手動一個一個的部署，那要部署12次，效率非常底，因此我們迫切需要一鍵自動部

Keepalived+Nginx+Tomcat搭建高可用的Web服務（一）：主備模式

前言 Nginx和Apache都可以用來作為反向代理伺服器，來提供負載均衡的能力，使我們的web伺服器，能夠水平擴容，從而處理更多的使用者請求，但是反向代理伺服器又變成了一個單點，當反向代理伺服器掛了，整合Web伺服器就不能被外界訪問到，所以我們必須要保證反向

分散式架構學習之：032--使用Redis3.0叢集實現Tomcat叢集的Session共享

redis.properties # redis hosts ex: 127.0.0.1:6379, 127.0.0.2:6379, 127.0.0.2:6380, .... re

CentOS7 下 Nginx + Tomcat 實現 Session 共享

++ port orange 安裝目錄 nag 教訓 font ext 參考 　　在之情的文章中搭建的 centos7 + tomcat + nginx 的環境的基礎上， 使用 redis 實現 tomcat 的 session 共享的問題。 一 ： 安裝 Redis 　　

keepalived+nginx+tomcat搭建高性能web服務器集群

keepalived+nginx+tomcat 高性能 高可用 web服務器集群使用keepalived+nginx+tomcat搭建高性能web服務器集群，系統采用centos6.9，前端用nginx做反向代理實現負載均衡，同時結合keepalived對nginx實現高可用，後端使用兩臺tomcat做動態j

nginx+tomcat實現負載均衡以及session共享(linux centos7環境)

processes 解壓 smo eve cti 下載 gen cli -c 一、nginx的安裝 1.準備三份tomcat tomcat1 設置端口 8080 tomcat2 設置端口 8081 tomcat3 設置端口 8082 2. 下載nginx 3. 解壓到/ho

深入理解JAVA集合系列三：HashMap的死循環解讀

現在 最新 star and 場景 所有 image cap 時也 由於在公司項目中偶爾會遇到HashMap死循環造成CPU100%，重啟後問題消失，隔一段時間又會反復出現。今天在這裏來仔細剖析下多線程情況下HashMap所帶來的問題： 1、多線程put操作後，get操作導

深入理解JAVA I/O系列三：字符流詳解

buffer 情況 二進制文件 感到 復制代碼 使用範圍 轉換 fileread 方式 字符流為何存在 既然字節流提供了能夠處理任何類型的輸入/輸出操作的功能，那為什麽還要存在字符流呢？容我慢慢道來，字節流不能直接操作Unicode字符，因為一個字符有兩個字節，字節流一次只

JAVA通信系列三：Netty入門總結

hand list code end @override ada 群發消息 -s object 一、Netty學習資料 書籍《Netty In Action中文版》 對於Netty的十一個疑問http://news.cnblogs.com/n/205413/ 深入淺出Net