2. 程式人生 > >高可用之KeepAlived(一)：基本概念和配置文件分析

高可用之KeepAlived(一)：基本概念和配置文件分析

阿新 • • 發佈：2018-02-28
leg bold touch event radius chm present ket temp

KeepAlived系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html

本文目錄：
1. 概述
2. VRRP協議
3. KeepAlived架構模型
4. 安裝KeepAlived
5. 配置keepalived的日誌
6. keepalived配置文件詳解

1.概述

KeepAlived主要有兩個功能：

  • (1).能夠對RealServer進行健康狀況檢查，支持4層、5層和7層協議進行健康檢查；
  • (2).對負載均衡調度器實現高可用，防止Director單點故障。

在keepalived設計之初，它只是LVS周邊的一個輔助工具，用於LVS的監控狀況檢查，因此它和LVS的兼容性非常好。如果某一個realserver節點宕了，keepalived會將此節點從管理列表中踢出去，當此節點恢復後又將此節點加回管理列表，這樣能夠就讓realserver負載均衡變的智能化。但是，此時的調度器存在單點故障的可能性，因此有必要對其實現高可用。

實現LVS高可用可以使用多種軟件來實現，如heartbeat，但是heartbeat本身不能實現ipvs的健康狀況檢查，需要搭配Ldirectord(安裝完heartbeat就有了)來進行健康檢查。所幸的是keepalived後來也加入了高可用的功能，而且配置起來也相當簡單。相比於heartbeat+Ldirectord，keepalived的檢查速度極快，故障轉移也極快，布置也簡單的多。所以一般來說，要管理ipvs，都會選擇使用keepalived。下圖列出了構建LVS高可用的幾種工具：

技術分享圖片

keepalived實現故障轉移的功能是通過VRRP(virtual router redundancy protocol虛擬路由器冗余協議)協議來實現的。 在keepalived正常工作的時候，主節點(master)會不斷的發送心跳信息給備節點(backup)，當備節點不能在一定時間內收到主節點的心跳信息時，備節點會認為主節點宕了，然後會接管主節點上的資源，並繼續向外提供服務保證其可用性。當主節點恢復的時候，備節點會自動讓出資源並再次自動成為備節點。

註意，使用keepalived監控、高可用LVS集群時(即常說的keepalived+lvs)，並不需要在Director上使用ipvsadm等管理工具額外配置ipvs規則。因為keepalived中集合了管理ipvs規則的組件(即稍後模型圖中的ipvs wrapper)，可以直接在keepalived的配置文件中配置ipvs相關規則，在解析配置文件時會通過特定的組件將規則發送到內核中的ipvs模塊。

2. VRRP協議

VRRP協議的出現是為了解決靜態路由的單點故障，它是通過一種競選機制來將路由任務交給某個vrrp路由器的。

在VRRP物理結構中，有多個物理的VRRP路由器，其中有一臺稱為"master"即主節點路由器，其他的都是"backup"備節點路由器，誰是master誰是backup，這是通過他們的優先級來定義競選的。

在VRRP虛擬結構中，虛擬路由器是通過"MAC+VRID"的形式來標識的，如"00-00-5E-00-01-{VRID}"。在VRRP虛擬結構中，不管誰是master，對外都是相同的MAC和VIP，客戶端主機並不需要因為master的改變而修改自己的路由配置。

VRRP結構中路由器之間的通信是通過IP多播的方式實現的(也可以配置為其它通信方式)。但是，只有master節點才會發送VRRP廣告包(vrrp advertisement message)。當master節點宕掉的時候，backup中優先級最高的VRRP設備會搶占並升級為master。

3.keepalived架構模型

Keepalived服務啟動的時候，將產生三個相關進程，一個父進程和兩個子進程。

PID    111     Keepalived  <-- Parent process fork and monitor children
       112     \_ Keepalived   <-- VRRP child
       113     \_ Keepalived   <-- Healthchecking child

父進程負責fork和監控子進程，因此父進程也稱為WatchDog。兩個子進程都會開啟本地套接字Unix Domain Socket。當keepalived服務啟動後，父進程會通過unxi domain socket每隔5秒發送一個"Hello"消息給子進程，如果父進程無法發送消息給子進程，將認為子進程出現問題，於是會重啟子進程。

下圖是keepalived設計架構圖：

技術分享圖片

其中：

  • Checkers組件：負責RealServer的健康狀況檢查，並在LVS的拓撲中移除、添加RealServer。它支持layer4/5/7層的協議檢查。該組件使用獨立的子進程負責，但被父進程監控。
  • VRRP組件：提供Director的故障轉移功能從而實現Director的高可用。該組件可獨立提供功能，無需LVS的支持。該組件使用獨立的子進程負責，但被父進程監控。
  • System Call組件：提供讀取自定義腳本的功能。該組件在使用時，將臨時產生一個子進程來執行任務。
  • IPVS wrapper組件：負責將配置文件中IPVS相關規則發送到內核的ipvs模塊。
  • Netlink Reflector：用來設定、監控vrrp的vip地址。

4.安裝keepalived

使用keepalived，完全可以yum安裝。本文僅給出編譯安裝的方法，後文的所有配置都使用yum安裝的keepalived。

官方各版本源碼下載地址：http://www.keepalived.org/download.html。以下是編譯安裝keepalived-1.2.19版本的過程。

yum -y install openssl-devel

tar xf keepalived-1.2.19.tar.gz
cd keepalived-1.2.19
./configure --prefix=/usr/local/keepalived-1.2.19
make && make install

其中./configure的·--with-kernel-dir·是在管理LVS時需要使用的，如果不用配合LVS，則可以不用此選項。

再做一下編譯安裝的規範行為。

ln -s /usr/local/keepalived-1.2.19 /usr/local/keepalived
echo "MANPATH /usr/local/keepalived/share/man" >>/etc/man.config
echo "export PATH=/usr/local/keepalived/sbin:$PATH" > /etc/profile.d/keepalived.sh
chmod +x /etc/profile.d/keepalived.sh
. /etc/profile.d/keepalived.sh

編譯安裝後，在安裝目錄下生成以下一些目錄，其中keepalived程序在sbin目錄下。

[root@xuexi ~]# cd /usr/local/keepalived
[root@xuexi keepalived]# ls
bin  etc  lib  sbin  share

在etc目錄下，有配置文件、SysV管理腳本和大量配置文件示例。

[root@xuexi keepalived]# ls etc
keepalived  rc.d  sysconfig
[root@xuexi keepalived]# ls etc/keepalived/
keepalived.conf  samples
[root@xuexi keepalived]# ls etc/rc.d/init.d/
keepalived

但需要註意的是，這裏提供的SysV服務管理腳本是錯誤的，原因是腳本中的keepalived命令路徑錯誤。所以修改該文件。

#原文
start() {
    echo -n $"Starting $prog: "
    daemon keepalived ${KEEPALIVED_OPTIONS}
    RETVAL=$?
    echo
    [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
#修改後
start() {
    echo -n $"Starting $prog: "
    daemon /usr/local/keepalived/sbin/keepalived ${KEEPALIVED_OPTIONS}
    RETVAL=$?
    echo
    [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}

5.配置keepalived的日誌

默認keeepalived的日誌會記錄到/var/log/messages中。可以配置keepalived使其記錄到其它文件中。

先修改/etc/sysconfig/keepalived文件，以下是原文內容。

# Options for keepalived. See `keepalived --help‘ output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
#
# --vrrp               -P    Only run with VRRP subsystem.
# --check              -C    Only run with Health-checker subsystem.
# --dont-release-vrrp  -V    Dont remove VRRP VIPs & VROUTEs on daemon stop.
# --dont-release-ipvs  -I    Dont remove IPVS topology on daemon stop.
# --dump-conf          -d    Dump the configuration data.
# --log-detail         -D    Detailed log messages.
# --log-facility       -S    0-7 Set local syslog facility (default=LOG_DAEMON)
#

KEEPALIVED_OPTIONS="-D"

要配置獨立的日誌，將其中的"KEEPALIVED_OPTIONS"改為如下：

KEEPALIVED_OPTIONS="-D -S 0"

上面配置使用local0這個設備來記錄日誌，因此去修改rsyslog的配置文件/etc/rsyslog.conf，添加該設備記錄日誌的級別和路徑。

# Keepalived log config
local0.*                           /var/log/keepalived.log

再重啟rsyslog。

service rsyslog restart

6.keepalived配置文件詳解

配置文件分為3部分：全局部分、VRRPd部分(即實現高可用部分)以及LVS虛擬服務部分(健康狀況檢查以及管理的集群服務)。

選項很多，具體的意義可以man keepalived.conf。默認內容如下：

! Configuration File for keepalived

global_defs {                    #全局部分定義郵件報警系統，可以不用定義
   notification_email {          #定義郵件發送目標
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]  #定義郵件發送人
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL         #標識keepalived服務器的字符串，實現高可用時需要使用它標識節點

        # 全局部分關於靜態地址和靜態路由的配置，可以man keepalived.conf，不過幾乎不用配置這部分
}

#定義vrrp實例。一個配置文件中可以實現多實例。但不同主機上互為master<-->backup的實例名需相同
vrrp_instance VI_1 {         
    state MASTER           #定義實例的角色狀態是master還是backup
    interface eth0         #定義vrrp綁定的接口，即接收或發送心跳通告的接口，即HA監測接口
    virtual_router_id 51   #虛擬路由標識(VRID)，同一實例該數值必須相同，即master和backup中該值相同
                           #同一網卡上的不同vrrp實例，該值必須不能相同。取值範圍0-255
    priority 100           #該vrrp實例中本機的keepalived的優先級，優先級最高的為master。該選項的優先級
                           #高於state選項，即若state指定的是backup，但這裏設置的值最高，則仍為master。
    advert_int 1           #心跳信息發送和接收時間間隔，單位為秒
    authentication {       #認證方式，同一實例中這個配置必須完全一樣才可通過認證。只建議使用PASS認證
        auth_type PASS
        auth_pass 1111     #最多支持8字符，超過8字符將只取前8字符
    }
virtual_ipaddress {      #設置的VIP。只有master節點才會設置。master出現故障後，VIP會故障轉移到backup。
                         #這些vip默認配置在interface指定的接口別名上，可使用dev選項來指定配置接口。
                         #使用ip add的方式添加。若要被ifconfig查看，在IP地址後加上label即可。
                         #<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
        192.168.200.16 label eth0:1
        192.168.200.17
        192.168.200.18
        192.168.200.19/24 dev eth1
    }
}

#定義虛擬服務部分
virtual_server 192.168.200.100 443 { #虛擬服務地址和端口，使用空格分隔，其中地址為VIP
    delay_loop 6                     #健康檢查時間間隔
    lb_algo rr                       #定義負載均衡LB的算法，這裏使用的是rr調度算法
    lb_kind NAT                      #lvs的模型，有NAT/DR/TUN三種
    nat_mask 255.255.255.0
    persistence_timeout 50           #持久會話保持時長
    protocol TCP                     #監控服務的協議類型，1.3.0版本之前只支持tcp，之後還支持udp

    real_server 192.168.201.100 443 {   #定義real_server部分，地址和端口使用空格分隔
        weight 1       #LVS權重
        SSL_GET {      #健康狀況檢查的檢查方式，常見的有HTTP_GET|SSL_GET|TCP_CHECK|MISC_CHECK。
            url {      
              path /   #指定ssl_get健康狀況檢查的路徑，例如檢查index.html是否正常
              digest ff20ad2481f97b1754ef3e12ecd3a9cc  
                                #健康狀況需要狀態碼，可以是status_code、digest或digest+status_code
                                #digest值用keepalived的genhash命令生成，一般使用status_code即可
              status_code 200
            }
            url {
              path /mrtg/
              digest 9b3a0c85a887a256d6939da88aabd8cd
            }
            connect_timeout 3           #表示3秒無響應就超時，即此realserver不健康，需重試連接
            nb_get_retry 3              #表示重試3次，3次之後都超時就是宕機，防止誤傷(nb=number)
            delay_before_retry 3        #重試的時間間隔
                                        #上述配置需12秒才能判斷節點故障，時間太久，應改小
        }
    }
}

virtual_server 10.10.10.2 1358 {
    delay_loop 6
    lb_algo rr 
    lb_kind NAT
    persistence_timeout 50
    protocol TCP

    sorry_server 192.168.200.200 1358    #定義當所有Real server都宕機的時候，由哪臺服務器繼續提供服務
                                         #一般在keepalived本機給定一個web頁面，提示網站正在維護的信息

    real_server 192.168.200.2 1358 {
        weight 1
        HTTP_GET {
            url { 
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.200.3 1358 {
        weight 1
        HTTP_GET {
            url { 
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            url { 
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

virtual_server 10.10.10.3 1358 {
    delay_loop 3
    lb_algo rr 
    lb_kind NAT
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.200.4 1358 {
        weight 1
        HTTP_GET {
            url { 
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.200.5 1358 {
        weight 1
        HTTP_GET {
            url { 
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

關於配置文件中的幾種時間間隔：

  • advert_int N1：vrrp主備之間發送和接收心跳信息的時間間隔。和Checker組件無關。
  • delay_loop N2：是健康狀況檢查的時間間隔。每隔幾秒就檢查一次。
  • connect_timeout N3：連接RS的超時時間，連接不上說明不健康，需要重試連接來判定RS是否故障。
  • nb_get_retry N4：一個節點不健康的判定重試次數。要重試N次，N次內都不健康說明節點故障了。
  • delay_before_retry N5：判定某節點不健康後過N秒再進行重試判定。

N2和N5的區別在於：當上一次健康檢查結果是正常的，將會隔N2秒再檢查。如果某次檢查不健康，即聯系不上RS，則每隔N5秒重試一次，直到N4次後才判定該RS已經故障。因此，最終需要N3+N4*N5才能判定一個節點的故障。

雖然健康檢查的失敗次數是可以指定的，但一般都會設置多於1次防止誤傷。另外，成功的檢查只需一次即可。

keepalived支持4層、5層和7層的健康狀況檢查，按檢查類型又可分為TCP檢查(4層)、HTTP檢查(5層)、SSL_HTTP檢查(5層)以及自定義的MISC檢查(可實現7層)。其中：

  • TCP_CHECK：通過TCP連接來檢查後端RS是否健康。
  • HTTP_GET：通過獲取指定頁面來檢查後端RS是否健康。是否健康是根據是否匹配digest、status_code來判斷的。
  • SSL_GET：和HTTP_GET一樣，只不過使用的協議是HTTPS。
  • MISC_CHECK：通過加載自定義健康狀況檢查的腳本來檢查對象是否健康，要求這些腳本中健康與否的返回值為0或1。

使用MISC_CHECK檢查時，方式如下：

MISC_CHECK {
    misc_path /path_to_script/script.sh
    (or misc_path “ /path_to_script/script.sh <arg_list>”)
}

回到Linux系列文章大綱：http://www.cnblogs.com/f-ck-need-u/p/7048359.html
回到網站架構系列文章大綱：http://www.cnblogs.com/f-ck-need-u/p/7576137.html
回到數據庫系列文章大綱：http://www.cnblogs.com/f-ck-need-u/p/7586194.html
轉載請註明出處：http://www.cnblogs.com/f-ck-need-u/p/8483807.html

註：若您覺得這篇文章還不錯請點擊右下角推薦，您的支持能激發作者更大的寫作熱情，非常感謝！

高可用之KeepAlived(一)：基本概念和配置文件分析

相關推薦

高可用之KeepAlived(一)：基本概念和配置文件分析

leg bold touch event radius chm present ket temp KeepAlived系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html 本文目錄：1. 概述2. VRRP協

應用負載均衡之LVS(一)：基本概念和三種模式

保存 訪問 方式 video big key vhdl cisc vid 網站架構中，負載均衡技術是實現網站架構伸縮性的主要手段之一。所謂"伸縮性"，是指可以不斷向集群中添加新的服務器來提升性能、緩解不斷增加的並發用戶訪問壓力。通俗地講，就是一頭牛拉不動時，就用兩頭、三

高可用之KeepAlived(2)：keepalived+lvs

不用 eset 修改 == server sent image .html cnblogs KeepAlived系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html 本文目錄：1. keepalived+lv

Flex佈局（一：基本概念和容器屬性）

前言 算上來快2個月沒寫部落格呢，一是趕專案，二是中途接到一個朋友公司需要幫忙，週末都在TA們公司兼職，然後空下來就快12月初，然後又陸陸續續發生一些大事小事，當然最令人記憶猶新就是借錢。 這個月初由於財務出了點問題，找了幾個朋友借錢，當然也包括自己借過錢的

Tomcat基本結構和配置文件結構

tomcat 概念 配置文件00x01 tomcat簡介 Tomcat: Servlet and JSP APIs, JNDI and JMX APIs. Tomcat不是一個完

Oracle知識梳理（一）理論篇：基本概念和術語整理

http 知識梳理 屬性集 操作 url 本質 開發 表格 weight 理論篇：基本概念和術語整理 一、關系數據庫 關系數據庫是目前應用最為廣泛的數據庫系統，它采用關系數據模型作為數據的組織方式，關系數據模型由關系的數據結構，關系的操作集合和關系的完整

python學習筆記(一)：基本概念

單引號 網絡爬蟲 解釋型 g模式 deb 恢復 判斷語句 安裝 bubuko ---恢復內容開始--- 一.python簡介 pyhthon是解釋型語言，python可以用來網絡爬蟲、數據分析、web開發、人工智能、嵌入式、自動化測試、自動化運維等，所有語言中，地方放庫最多

Linux 高可用（HA）叢集基本概念詳解

目錄 十二、總結 一、高可用叢集的定義   高可用叢集，英文原文為High Availability Cluster，簡稱HACluster，簡單的說，叢集（cluster）就是一組計算機，它們作為一個整體向用戶提供一組網路資

Linux高可用之Keepalived

簡介 Keepalived是基於vrrp協議的一款高可用軟體。Keepailived有一臺主伺服器和多臺備份伺服器，在主伺服器和備份伺服器上面部署相同的服務配置，使用一個虛擬IP地址對外提供服務，當主伺服器出現故障時，虛擬IP地址會自動漂移到備份伺服器。 VRRP（Vir

Python並行程式設計(一)：基本概念

  1、執行緒和程序       程序是應用程式的一個執行例項，比如，在桌面上雙擊瀏覽器將會執行一個瀏覽器。執行緒是一個控制流程，可以在程序內與其他活躍的執行緒同時執行。控制流程指的是順序執行一些機器指令。程序可以包含多個執行緒，所以開啟一個瀏覽器，作業系統將建立一個程序，並開始執行這個程序的主執行緒。每一

Spring Cloud之Gateway(一)：基本瞭解及謂詞詳解

版本：2.0.2.RELEASE 連結：http://spring.io/projects/spring-cloud-gateway#overview 本章主要目錄如下 Spring Cloud Gateway是什麼？ Spring Cloud Gateway特徵有什麼？ S

高可用Redis(十一)：使用redis-trib.rb工具搭建叢集

環境說明： 兩臺虛擬機器，IP地址分別為：192.168.81.100和192.168.81.101 虛擬機器系統為：CentOS 7.5 Redis為yum安裝，版本為3.2 系統環境：關閉firewalld Redis Cluster叢集節點包括：192.168.81.101機器的9000.9001,90

Kafka學習筆記一：基本概念

1、Kafka是什麼 Kafka是最初由Linkedin公司開發，是一個分散式、分割槽的、多副本的、多訂閱者，基於zookeeper協調的分散式日誌系統(也可以當做MQ系統)，常見可以用於web/nginx日誌、訪問日誌，訊息服務等等，Linkedin於2010年貢獻給了Apache基金會併成為

MongoDB入門一：基本概念

一.資料庫的分類 目前的資料庫主要分為關係型資料庫和非關係型資料。 關係型資料庫： 通過SQL結構化查詢和儲存語句，最常見的就是Oracle和MySQL 保持資料一致性理論，遵循ACID原理 非關係型資料庫： - Not Only SQL,是對不同於

nginx高可用之keepalived

                                搭建nginx高可用-keepalived Keepalived高可

iOS/OS X記憶體管理(一)：基本概念與原理

在Objective-C的記憶體管理中，其實就是引用計數(reference count)的管理。記憶體管理就是在程式需要時程式設計師分配一段記憶體空間，而當使用完之後將它釋放。如果程式設計師對記憶體資源使用不當，有時不僅會造成記憶體資源浪費，甚至會導致程式crach。我們將會從引用計數和記憶體管理

MySQL 高可用之 keepalived+Mysql 雙主雙活。

環境描述：[[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [[email protected] ~]# cat /etc/redhat-release CentOS L

lotou詳解一：基本概念

lotou是一個基於golang的支援分散式的輕量級遊戲伺服器框架，主要提供遊戲伺服器叢集的訊息轉發程式碼倉庫 lotou提供了三種不同的訊息傳送方式： 1.Send 用於普通的訊息推送，不需要返回，傳送之後就不再關注 2.Request 非同步非阻塞請

RabbitMQ學習筆記一：基本概念與環境搭建

一、定義     MQ（Message Queue，訊息佇列）是基於應用程式之間的一種通訊方式，應用程式通過讀寫出入佇列的訊息進行通訊，而不需要用專用的連線來連線它們。訊息通訊指的是程式之間在訊息中傳遞資訊進行通訊，而不是傳統的通過直接呼叫（如RPC）的方式進行通訊。MQ的

webService學習（一）基本概念和環境搭建

1、webService概念理解： WebService是一種跨程式語言和跨作業系統平臺的遠端呼叫技術。 所謂遠端呼叫，就是一臺計算機a上 的一個程式可以呼叫到另外一臺計算機b上的一個物件的方法，譬如，銀聯提供給商場的pos刷卡系統，商場的POS機轉賬呼叫的轉賬方法的程式碼其實是跑在銀