2. 程式人生 > >Keepalived實現LVS-DR集群高可用

Keepalived實現LVS-DR集群高可用

阿新 • • 發佈：2018-07-18
cti 上線 bash 自己的 高可用性 touch from 輔助 lib

一、集群高可用概述

單純的lvs/nginx反向代理模型做負載集群應用時，DR（director）存在單點故障隱患，故需要有機制來保證DR的高可用性。常用的高可用性方案有Keepalived、corosync，Keepalived主要是由VRRP協議實現了VIPfloating，比較適用於前端DR的高可用性，Corosync一般用於更專業的集群模型實現Service的高可用。Keepalived起初就是為了實現LVS集群director高可用而開發的，本處僅做Keepalived+LVS-DR模型實驗。

二、Keepalived原理簡介

Keepalived中優先級高的節點為MASTER。MASTER其中一個職責就是響應VIP的arp包，將VIP和mac地址映射關系告訴局域網內其 他主機，同時，它還會以多播的形式向局域網中發送VRRP通告，告知BACKUP組自己的優先級。網絡中的所有BACKUP節點只負責 處理MASTER發出的多播包，當發現MASTER的優先級沒自己高（腳本檢測故障觸發自我降級），或者沒收到MASTER的VRRP通告（網絡故障/MASTER宕機）時，BACKUP將自己切換到MASTER狀 態，然後做MASTER該做的事：1.響應arp包，2.發送VRRP通告。

三、實驗環境

1.網絡拓補圖

技術分享圖片

2.軟件環境

  • CentOS7.4
  • keepalived.x86_64 1.3.5-6.el7
  • nginx.x86_64 1:1.12.2-2.el7

四、配置流程

（1）兩臺DR配置keepalived.conf

  1. 配置DR1：

    global_defs {
    notification_email {
    root@localhost #此處僅發給本機，更定制化的郵件通知功能一般由zabbix來做。
    }
    notification_email_from keepalived@localhost
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id keepalivedR1 #定義路由器標識,每臺服務器局域網內唯一就行。
    vrrp_mcast_group4 224.0.0.33 #定義master向backup組播vrrp報文的地址。
    }
    vrrp_script chk_down {
    script "/etc/keepalived/chk_down.sh"
    interval 1 #腳本檢測間隔
    weight -15 #即原有優先級+weight，負值即降低。
    # 註意當weight=0時, 用於變更vrrp_instance的狀態例如腳本檢測失敗, 則vrrp的狀態直接變為FAULT. (不管有沒有其他節點存在來接管MASTER)
    fall 2 #執行腳本兩次exit非0則降低優先級
    rise 1 #執行腳本一次exit 0 則還原優先級
    user keepalived_script #默認用戶yum安裝keepalived需自建，不存在則調用root（不推薦）
    }

                 vrrp_instance VI_1 {
                 state MASTER    #自定義的state，但如果你的優先級小於backup也不會成為master。
                 interface ens39       #綁定為當前虛擬路由器使用的物理接口。
                 virtual_router_id 3  #當前虛擬路由器的惟一標識，範圍是0-255。同實例一致！
                 priority 99         #初始優先級，範圍1-254。
                 advert_int 1        #vrrp通告的時間間隔。
                 authentication {
                     auth_type PASS   #簡單密碼驗證，不超過8位。
                     auth_pass 736w4ib2  #最好使用隨機字符串,同vip實例保持一致！
                 }
                 virtual_ipaddress {
                     192.168.7.120/24 dev ens39
                 }
                 notify_master "/etc/keepalived/notify.sh master" #調用通知腳本
                 notify_backup "/etc/keepalived/notify.sh backup"
                 notify_fault "/etc/keepalived/notify.sh fault"
             }
            virtual_server 192.168.7.120 80 {  #此處可用IP port/fwmark id 標識VIP對應服務
                  delay_loop 2   #服務輪詢的時間間隔2s
                 lb_algo rr
                 lb_kind DR
                 protocol TCP
                 real_server 192.168.7.125 80 {
                     weight 1
                     HTTP_GET {
                     url {
                         path /
                         status_code 200
                     }
                     connect_timeout 2
                     nb_get_retry 3
                     delay_before_retry 3
                     }
                 }
                 real_server 192.168.7.126 80 {
                     weight 1
                     HTTP_GET {
                         url {
                             path /
                             status_code 200
                         }
                         connect_timeout 2
                         nb_get_retry 3
                         delay_before_retry 3
                         }
              }

將上述配置錄入/etc/keepalived/keepalived.conf中，過程如下：

[root@DR1 ~]# cd /etc/keepalived/
[root@DR1 keepalived]# cp keepalived.conf{,.bak} #備份下配置文件
[root@DR1 keepalived]# ls
keepalived.conf  keepalived.conf.bak
[root@DR1 keepalived]# vim keepalived.conf

  • 配置中調用的notify腳本內容如下：

      #!/bin/bash
  #
  contact=‘root@localhost‘

  notify() {
      local mailsubject="$(hostname) to be $1, vip floating"
      local mailbody="$(date +‘%F %T‘): vrrp transition, $(hostname) changed to be $1"
      echo "$mailbody" | mail -s "$mailsubject" $contact
  }

  case $1 in
  master)
      notify master
      ;;
  backup)
      notify backup
      ;;
  fault)
      notify fault
      ;;
  *)
      echo "Usage: $(basename $0) {master|backup|fault}"
      exit 1
      ;;
  esac

  • chk_down.sh只有條件判斷：[[ -f /etc/keepalived/down ]] && exit 1 || exit 0

  1. 配置DR2

DR2，僅需修改如下配置：

  • router_id keepalivedR2
  • state BACKUP
  • priority 90

（2）兩臺RS配置

兩臺RS均yum安裝nginx，啟動服務監聽80端口即可。

需要註意的有如下幾點：

  • 檢查系統是否自帶httpd服務並停止，否則會與nginx發生沖突。

  • 添加vip到網卡輔助接口，並修改arp參數抑制apr報文響應，此處可用腳本如下：
    #!/bin/bash
    vip=192.168.7.120
    /usr/sbin/ip addr add $vip/32 dev lo label lo:0
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

    註意：因客戶端在同網段，添加完RS抑制arp響應後，需要將客戶端的arp緩存清空防止幹擾效果。

  • 修改默認主頁，主要是做標記區分RS1/RS2。可采用如下方法：

    編輯默認index.html
    在vim末行模式輸入:%s/nginx/server1/g回車即可

五、測試實驗效果

  1. 測試VIP漂移

    • 先在DR2初始BACKUP開啟keepalived觀察是否有狀態變更：
      [root@DR2 ~]# systemctl start keepalived.service
      [root@DR2 ~]# systemctl status keepalived.service
      ?.keepalived.service - LVS and VRRP High Availability Monitor
      Loaded: loaded (/usr/lib/systemd/system/keepalived.service; disabled; vendor preset: disabled)
      Active: active (running) since Sun 2018-07-15 13:28:10 CST; 19s ago
      Process: 2620 ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS (code=exited, status=0/SUCCESS)
      Main PID: 2621 (keepalived)
      CGroup: /system.slice/keepalived.service
      ?..2621 /usr/sbin/keepalived -D
      ?..2622 /usr/sbin/keepalived -D
      ?..2623 /usr/sbin/keepalived -D

      Jul 15 13:28:14 DR2 Keepalived_vrrp[2623]: Sending gratuitous ARP on ens39 for 192.168.7.120
Jul 15 13:28:14 DR2 Keepalived_vrrp[2623]: Sending gratuitous ARP on ens39 for 192.168.7.120
Jul 15 13:28:14 DR2 Keepalived_vrrp[2623]: Sending gratuitous ARP on ens39 for 192.168.7.120
Jul 15 13:28:14 DR2 Keepalived_vrrp[2623]: Opening script file /etc/keepalived/notify.sh
Jul 15 13:28:19 DR2 Keepalived_vrrp[2623]: Sending gratuitous ARP on ens39 for 192.168.7.120
Jul 15 13:28:19 DR2 Keepalived_vrrp[2623]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens39 for 192.168.7.120
[root@DR2 ~]# mail
Heirloom Mail version 12.5 7/5/10.  Type ? for help.
"/var/spool/mail/root": 6 messages 2 new 2 unread
>N  5 root                  Sun Jul 15 13:28  18/667   "DR2 to be backup, vip floating"
 N  6 root                  Sun Jul 15 13:28  18/667   "DR2 to be master, vip floating"
& 6
Message  6:
From [email protected]  Sun Jul 15 13:28:15 2018
Return-Path: <[email protected]>
X-Original-To: root@localhost
Delivered-To: [email protected]
Date: Sun, 15 Jul 2018 13:28:14 +0800
To: [email protected]
Subject: DR2 to be master, vip floating
User-Agent: Heirloom mailx 12.5 7/5/10
Content-Type: text/plain; charset=us-ascii
From: [email protected] (root)
Status: R

2018-07-15 13:28:14: vrrp transition, DR2 changed to be master
      可以看到，因為master沒上線，DR2由backup變為master。我們的notify.sh腳本成功發送狀態變更通知到本地郵箱。
    • 測試DR1上線效果：
      [root@DR2 ~]# systemctl status keepalived.service
      Jul 15 14:52:48 DR2 Keepalived_vrrp[1812]: VRRP_Instance(VI_1) Received advert with higher priority 99, ours 90
      Jul 15 14:52:48 DR2 Keepalived_vrrp[1812]: VRRP_Instance(VI_1) Entering BACKUP STATE
      Jul 15 14:52:48 DR2 Keepalived_vrrp[1812]: VRRP_Instance(VI_1) removing protocol VIPs.
      Jul 15 14:52:48 DR2 Keepalived_vrrp[1812]: Opening script file /etc/keepalived/notify.sh
      You have new mail in /var/spool/mail/root
      [root@DR2 ~]# ip addr show
      1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
      link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
      inet 127.0.0.1/8 scope host lo
      valid_lft forever preferred_lft forever
      inet6 ::1/128 scope host
      valid_lft forever preferred_lft forever
      2: ens39: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
      link/ether 00:50:56:3b:a3:7c brd ff:ff:ff:ff:ff:ff
      inet 192.168.7.122/24 brd 192.168.7.255 scope global ens39
      valid_lft forever preferred_lft forever
      inet6 fe80::250:56ff:fe3b:a37c/64 scope link
      valid_lft forever preferred_lft forever
      [root@DR1 ~]# systemctl status keepalived.service
      Jul 15 14:52:49 DR1 Keepalived_vrrp[3471]: Sending gratuitous ARP on ens39 for 192.168.7.120
      Jul 15 14:52:49 DR1 Keepalived_vrrp[3471]: Opening script file /etc/keepalived/notify.sh
      Jul 15 14:52:54 DR1 Keepalived_vrrp[3471]: Sending gratuitous ARP on ens39 for 192.168.7.120
      Jul 15 14:52:54 DR1 Keepalived_vrrp[3471]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens39 for 192.168.7.120
      DR2因為收到了更高優先級的VRRP組播報文而卸載VIP，DR1獲取到VIP。

    • 手工touch生成/etc/keepalived/down文件模擬單機故障也會發生上述VIP漂移現象。
      Jul 15 15:21:51 DR1 Keepalived_vrrp[3907]: WARNING - default user ‘keepalived_script‘ for script execution does not exist - please create.
      # 此處踩坑了，提示conf文件中配置的腳本需要keepalived_script用戶執行
      # 還有個巨坑是參考資料中直接在keepalived.conf中定義script "[[ -f /etc/keepalived/down ]] && # exit 1 || exit 0" 但是我多次測試不成功，將條件判斷放入腳本，conf文件僅引用路徑才成功......
      Jul 15 15:54:24 DR1 Keepalived_vrrp[4438]: /etc/keepalived/chk_down.sh exited with status 1
      Jul 15 15:54:24 DR1 Keepalived_vrrp[4438]: VRRP_Script(chk_down) failed
      Jul 15 15:54:25 DR1 Keepalived_vrrp[4438]: VRRP_Instance(VI_1) Changing effective priority from 99 to 84
      Jul 15 15:54:25 DR1 Keepalived_vrrp[4438]: /etc/keepalived/chk_down.sh exited with status 1
      Jul 15 15:54:25 DR1 Keepalived_vrrp[4438]: VRRP_Instance(VI_1) Received advert with higher priority 90, ours 84
      Jul 15 15:54:25 DR1 Keepalived_vrrp[4438]: VRRP_Instance(VI_1) Entering BACKUP STATE
      Jul 15 15:54:25 DR1 Keepalived_vrrp[4438]: VRRP_Instance(VI_1) removing protocol VIPs.
      Jul 15 15:54:25 DR1 Keepalived_vrrp[4438]: Opening script file /etc/keepalived/notify.sh

  2. 測試RS故障檢測
    • 先測試RS是否正常被輪詢 for i in {1,5};do curl http://192.168.7.120 ;done
    • 手動關停一臺rs的nginx
      [root@RS2 ~]# systemctl stop nginx
      [root@DR1 ~]# journalctl -xe
      Jul 15 16:59:04 DR1 Keepalived_healthcheckers[4437]: Error connecting server [192.168.7.126]:80.
      [root@DR1 ~]# systemctl status keepalived
      Jul 15 16:59:05 DR1 Keepalived_healthcheckers[4437]: Error connecting server [192.168.7.126]:80.
      Jul 15 16:59:06 DR1 Keepalived_healthcheckers[4437]: Error connecting server [192.168.7.126]:80.
      Jul 15 16:59:07 DR1 Keepalived_healthcheckers[4437]: Error connecting server [192.168.7.126]:80.
      Jul 15 16:59:07 DR1 Keepalived_healthcheckers[4437]: Check on service [192.168.7.126]:80 failed after 3 retry.
      Jul 15 16:59:07 DR1 Keepalived_healthcheckers[4437]: Removing service [192.168.7.126]:80 from VS [192.168.7.120]:80
      Jul 15 16:59:07 DR1 Keepalived_healthcheckers[4437]: Remote SMTP server [127.0.0.1]:25 connected.
      Jul 15 16:59:07 DR1 Keepalived_healthcheckers[4437]: SMTP alert successfully sent.
      [root@DR1 ~]# mail
      N 16 keepalived@localhost Sun Jul 15 16:59 17/646 "[keepalivedR1] Realserver [192.168.7.126]:80 - DOWN"
      • 重新啟動nginx
        Jul 15 17:02:55 DR1 Keepalived_healthcheckers[4437]: HTTP status code success to [192.168.7.126]:80 url(1).
        Jul 15 17:02:55 DR1 Keepalived_healthcheckers[4437]: Remote Web server [192.168.7.126]:80 succeed on service.
        Jul 15 17:02:55 DR1 Keepalived_healthcheckers[4437]: Adding service [192.168.7.126]:80 to VS [192.168.7.120]:80
        Jul 15 17:02:55 DR1 Keepalived_healthcheckers[4437]: Remote SMTP server [127.0.0.1]:25 connected.
        Jul 15 17:02:55 DR1 Keepalived_healthcheckers[4437]: SMTP alert successfully sent.
        You have new mail in /var/spool/mail/root
        重新上線的RS可以順利被檢測到並上線服務，至此，本次實驗結束。

Keepalived實現LVS-DR集群高可用

相關推薦

Keepalived實現LVS-DR集群高可用

cti 上線 bash 自己的 高可用性 touch from 輔助 lib 一、集群高可用概述 單純的lvs/nginx反向代理模型做負載集群應用時，DR（director）存在單點故障隱患，故需要有機制來保證DR的高可用性。常用的高可用性方案有Keepalived、co

RHEL6 搭建 keepalived + lvs/DR 集群

第一個 定義網絡 root rtu fff 一個 forward 高可用 pri 搭建 keepalived + lvs/DR 集群使用Keepalived為LVS調度器提供高可用功能，防止調度器單點故障，為用戶提供Web服務：LVS1調度器真實IP地址為192.168.

基於騰訊雲CLB實現K8S v1.10.1集群高可用+負載均衡

開源 可能 管理平臺 可用 st3 tab OS 1.10 style 概述： 最近對K8S非常感興趣,同時對容器的管理等方面非常出色，是一款非常開源，強大的容器管理方案,最後經過1個月的本地實驗，最終決定在騰訊雲平臺搭建屬於我們的K8S集群管理平臺~ 采購之後已經在本

nginx實現集群高可用

代理服務 同時 只有一個 反向代理服務器 節點 轉發 具體實現 故障 其它 大家知道NGINX作為反向代理服務器可以實現負載均衡，同時也可以作為靜態文件服務器，它的特點就是並發支持大，單機可同時支持3萬並發，現在很多網站都把NGINX作為網關入口來統一調度分配後端資源。但是

LVS + Keepalived + Nginx基於DR模式構建高可用方案

在大型網站中一般服務端會做叢集，同時利用負載均衡器做負載均衡。這樣有利於將大量的請求分散到各個伺服器上，提升網站的響應速度。當然為了解決單點故障的問題，還會做熱備份方案。這裡演示利用LVS做負載均衡器，同時利用Keepalived保證其高可用，基於LVS的DR模式構建Nginx叢集。 1、環境準備 各個軟體及

02-keepalived實現對nginx服務的高可用（主備）

trac code lob back ddr then 密碼 rtu alt 實驗環境：controller3,controller4為後端web服務器，controller1,controller2為nginx負載均衡服務器，用keepalived實現主備模式的高可用 c

linux RHCS集群 高可用web服務器

讀寫操作 http pac 安裝 邏輯卷管理 同一文件 根據 hat reat RHCS集群，高可用服務器 高可用 紅帽集群套件，提供高可用性，高可靠性，負載均衡，快速的從一個節點切換到另一個節點（最多16個節點）負載均衡 通過lvs提供負載均衡，lvs將負載通過負載分

02： 集群及LVS簡介 、 LVS-NAT集群 、 LVS-DR集群

分類 dfs elinks -h 本地yum源 -i _for proc 模式 操作系統 rhel6 配置本地yum源service iptables stop ;chkconfig iptables offsetenforce 0 ip 地址 要求 eth0192

10、redis哨兵集群高可用

ava 動態 保存 拷貝 rep 工作原理 arraylist AR 虛擬 1 Redis的分片技術 1.1 分片介紹 1.1.1 傳統方式的問題 說明:如果采用單臺redis時,如果redis出現宕機現象.那麽會直接影響我們的整個的服務. 1.1.2 采用分片模式 說明:

利用keepalived實現nginx調度器高可用（一）

efault fig html oot 服務 emctl alt rom rip 利用keepalived實現nginx調度器高可用 聲明：提供四臺主機，其中兩臺nginx做前端調度器（一臺做主調度器，一臺做備用調度器）， 另外兩臺主機做we

利用keepalived實現nginx調度器高可用（二）

font 相同 () ins db_name lob list default ast 構建LNAMMP架構：1) Nginx既是前端調度器，又是反向代理緩存服務器；2) 將php的session緩存於memcached中；3) 使用php-fpm上部署Discuz論壇

keepalived實現nginx調度器高可用（二）

amp web測試 keep 服務 vrrp value res 聲明 href keepalived實現nginx調度器高可用（二） 構建LNAMMP架構：1) Nginx既是前端調度器，又是反向代理緩存服務器；2) 將php的session緩存於memcach

利用ansible來做kubernetes 1.10.3集群高可用的一鍵部署

true com gem child sed files compiler 主機信息 著作權 請讀者務必保持環境一致 安裝過程中需要下載所需系統包，請務必使所有節點連上互聯網。 本次安裝的集群節點信息 實驗環境：VMware的虛擬機 IP地址主機名CPU內

微服務架構eureka集群高可用配置

設置 pass figure ide style def eas gis 配置文件 工具：idea 環境：java8、maven3 版本：spring boot 1.5.15.RELEASE 1.搭建spring boot eureka項目 2. pom.xml

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（一）

don replica ifconfig soft 似的 恢復 select 8.0 ext 準備服務器： docker network create --subnet=192.168.0.0/16 staticnetdocker run -d --privileg

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（二）

ProxySQL安裝 yum/rpm安裝 在github或官網上可以下載rpm包，wiki的Getting start章節有詳細介紹。 cat <<EOF | tee /etc/yum.repos.d/proxysql.repo [proxysql_repo] name= ProxyS

ZABBIX4.0.2監控歷史數據存放Elasticsearch及集群高可用方案

php more lar math 高可用方案 glib lock 內核參數 ec2 一、概述 Zabbix 4.0.2是一個長期支持版本(LTS)，至少提供 5 年的技術支持；下面簡單看一下Zabbix 4.0.2 新特征更具時效的監控項值檢查(Checking item

部署LVS-DR集群

-s ifcfg-eth 內容 fix prefix proto cas color broadcast 設置Proxy代理服務器的VIP和DIP [root@proxy ~]# cd /etc/sysconfig/network-scripts [root@proxy

eureka集群高可用配置

nap oca tap snap 意義 配置 uil scrip def 譬如eureka.client.register-with-eureka和fetch-registry是否要配置，配不配區別在哪裏；eureka的客戶端添加service-url時，是不是需要把所有的

fastdfs+nginx集群高可用搭建的一些坑！！記錄一下

節點 問題 server 技術 inf 無法訪問 無法 什麽 http 首先我這裏是三臺節點，都搭tracker和storage，然後使用nginx做負載，只建一個group1，三個tracker！ 搭建步驟比較麻煩，裏面有很多坑需要註意，步驟就不啰嗦了，這裏主要記錄幾個