1. 程式人生 > >Centos使用LVS+keepalive 搭建叢集原理詳解

Centos使用LVS+keepalive 搭建叢集原理詳解

負載均衡叢集是 load balance 叢集的簡寫,翻譯成中文就是負載均衡叢集。常用的負載均衡開源軟體有nginx、lvs、haproxy,商業的硬體負載均衡裝置F5、Netscale。這裡主要是學習Linux下 LVS 並對其進行了詳細的總結記錄。

一、負載均衡LVS基本介紹
LB叢集的架構和原理很簡單,就是當用戶的請求過來時,會直接分發到Director Server上,然後它把使用者的請求根據設定好的排程演算法,智慧均衡地分發到後端真正伺服器(real server)上。為了避免不同機器上使用者請求得到的資料不一樣,需要用到了共享儲存,這樣保證所有使用者請求的資料是一樣的。

LVS是 Linux Virtual Server 的簡稱,也就是Linux虛擬伺服器。這是一個由章文嵩博士發起的一個開源專案,它的官方網站是 http://www.linuxvirtualserver.org 現在 LVS 已經是 Linux 核心標準的一部分。使用 LVS 可以達到的技術目標是:通過 LVS 達到的負載均衡技術和 Linux 作業系統實現一個高效能高可用的 Linux 伺服器叢集,它具有良好的可靠性、可擴充套件性和可操作性。從而以低廉的成本實現最優的效能。LVS 是一個實現負載均衡叢集的開源軟體專案,LVS架構從邏輯上可分為排程層、Server叢集層和共享儲存。




二、LVS的基本工作原理

1. 當用戶向負載均衡排程器(Director Server)發起請求,排程器將請求發往至核心空間
2. PREROUTING鏈首先會接收到使用者請求,判斷目標IP確定是本機IP,將資料包發往INPUT鏈
3. IPVS是工作在INPUT鏈上的,當用戶請求到達INPUT時,IPVS會將使用者請求和自己已定義好的叢集服務進行比對,如果使用者請求的就是定義的叢集服務,那麼此時IPVS會強行修改資料包裡的目標IP地址及埠,並將新的資料包發往POSTROUTING鏈
4. POSTROUTING連結收資料包後發現目標IP地址剛好是自己的後端伺服器,那麼此時通過選路,將資料包最終傳送給後端的伺服器



三、LVS的組成
LVS 由2部分程式組成,包括 ipvs 和 ipvsadm。

1. ipvs(ip virtual server):一段程式碼工作在核心空間,叫ipvs,是真正生效實現排程的程式碼。
2. ipvsadm:另外一段是工作在使用者空間,叫ipvsadm,負責為ipvs核心框架編寫規則,定義誰是叢集服務,而誰是後端真實的伺服器(Real Server)


四、LVS相關術語
1. DS:Director Server。指的是前端負載均衡器節點。
2. RS:Real Server。後端真實的工作伺服器。
3. VIP:向外部直接面向用戶請求,作為使用者請求的目標的IP地址。
4. DIP:Director Server IP,主要用於和內部主機通訊的IP地址。

5. RIP:Real Server IP,後端伺服器的IP地址。
6. CIP:Client IP,訪問客戶端的IP地址。

下邊是三種工作模式的原理和特點總結。


五、LVS/NAT原理和特點
1. 重點理解NAT方式的實現原理和資料包的改變。


(a). 當用戶請求到達Director Server,此時請求的資料報文會先到核心空間的PREROUTING鏈。 此時報文的源IP為CIP,目標IP為VIP 
(b). PREROUTING檢查發現數據包的目標IP是本機,將資料包送至INPUT鏈
(c). IPVS比對資料包請求的服務是否為叢集服務,若是,修改資料包的目標IP地址為後端伺服器IP,然後將資料包發至POSTROUTING鏈。 此時報文的源IP為CIP,目標IP為RIP 
(d). POSTROUTING鏈通過選路,將資料包傳送給Real Server
(e). Real Server比對發現目標為自己的IP,開始構建響應報文發回給Director Server。 此時報文的源IP為RIP,目標IP為CIP 
(f). Director Server在響應客戶端前,此時會將源IP地址修改為自己的VIP地址,然後響應給客戶端。 此時報文的源IP為VIP,目標IP為CIP

2. LVS-NAT模型的特性

RS應該使用私有地址,RS的閘道器必須指向DIP

DIP和RIP必須在同一個網段內

請求和響應報文都需要經過Director Server,高負載場景中,Director Server易成為效能瓶頸

支援埠對映

RS可以使用任意作業系統

缺陷:對Director Server壓力會比較大,請求和響應都需經過director server


六、LVS/DR原理和特點
1. 重將請求報文的目標MAC地址設定為挑選出的RS的MAC地址


(a) 當用戶請求到達Director Server,此時請求的資料報文會先到核心空間的PREROUTING鏈。 此時報文的源IP為CIP,目標IP為VIP
(b) PREROUTING檢查發現數據包的目標IP是本機,將資料包送至INPUT鏈
(c) IPVS比對資料包請求的服務是否為叢集服務,若是,將請求報文中的源MAC地址修改為DIP的MAC地址,將目標MAC地址修改RIP的MAC地址,然後將資料包發至POSTROUTING鏈。 此時的源IP和目的IP均未修改,僅修改了源MAC地址為DIP的MAC地址,目標MAC地址為RIP的MAC地址 
(d) 由於DS和RS在同一個網路中,所以是通過二層來傳輸。POSTROUTING鏈檢查目標MAC地址為RIP的MAC地址,那麼此時資料包將會發至Real Server。
(e) RS發現請求報文的MAC地址是自己的MAC地址,就接收此報文。處理完成之後,將響應報文通過lo介面傳送給eth0網絡卡然後向外發出。 此時的源IP地址為VIP,目標IP為CIP 
(f) 響應報文最終送達至客戶端

2. LVS-DR模型的特性

特點1:保證前端路由將目標地址為VIP報文統統發給Director Server,而不是RS

RS可以使用私有地址;也可以是公網地址,如果使用公網地址,此時可以通過網際網路對RIP進行直接訪問

RS跟Director Server必須在同一個物理網路中

所有的請求報文經由Director Server,但響應報文必須不能進過Director Server

不支援地址轉換,也不支援埠對映

RS可以是大多數常見的作業系統

RS的閘道器絕不允許指向DIP(因為我們不允許他經過director)

RS上的lo介面配置VIP的IP地址

缺陷:RS和DS必須在同一機房中

3. 特點1的解決方案:

在前端路由器做靜態地址路由繫結,將對於VIP的地址僅路由到Director Server

存在問題:使用者未必有路由操作許可權,因為有可能是運營商提供的,所以這個方法未必實用

arptables:在arp的層次上實現在ARP解析時做防火牆規則,過濾RS響應ARP請求。這是由iptables提供的

修改RS上核心引數(arp_ignore和arp_announce)將RS上的VIP配置在lo介面的別名上,並限制其不能響應對VIP地址解析請求。


七、LVS/Tun原理和特點
在原有的IP報文外再次封裝多一層IP首部,內部IP首部(源地址為CIP,目標IIP為VIP),外層IP首部(源地址為DIP,目標IP為RIP)


(a) 當用戶請求到達Director Server,此時請求的資料報文會先到核心空間的PREROUTING鏈。 此時報文的源IP為CIP,目標IP為VIP 。
(b) PREROUTING檢查發現數據包的目標IP是本機,將資料包送至INPUT鏈
(c) IPVS比對資料包請求的服務是否為叢集服務,若是,在請求報文的首部再次封裝一層IP報文,封裝源IP為為DIP,目標IP為RIP。然後發至POSTROUTING鏈。 此時源IP為DIP,目標IP為RIP 
(d) POSTROUTING鏈根據最新封裝的IP報文,將資料包發至RS(因為在外層封裝多了一層IP首部,所以可以理解為此時通過隧道傳輸)。 此時源IP為DIP,目標IP為RIP
(e) RS接收到報文後發現是自己的IP地址,就將報文接收下來,拆除掉最外層的IP後,會發現裡面還有一層IP首部,而且目標是自己的lo介面VIP,那麼此時RS開始處理此請求,處理完成之後,通過lo介面送給eth0網絡卡,然後向外傳遞。 此時的源IP地址為VIP,目標IP為CIP
(f) 響應報文最終送達至客戶端

LVS-Tun模型特性

RIP、VIP、DIP全是公網地址

RS的閘道器不會也不可能指向DIP

所有的請求報文經由Director Server,但響應報文必須不能進過Director Server

不支援埠對映

RS的系統必須支援隧道

其實企業中最常用的是 DR 實現方式,而 NAT 配置上比較簡單和方便,後邊實踐中會總結 DR 和 NAT 具體使用配置過程。


八、LVS的八種排程演算法
1. 輪叫排程 rr
這種演算法是最簡單的,就是按依次迴圈的方式將請求排程到不同的伺服器上,該演算法最大的特點就是簡單。輪詢演算法假設所有的伺服器處理請求的能力都是一樣的,排程器會將所有的請求平均分配給每個真實伺服器,不管後端 RS 配置和處理能力,非常均衡地分發下去。

2. 加權輪叫 wrr
這種演算法比 rr 的演算法多了一個權重的概念,可以給 RS 設定權重,權重越高,那麼分發的請求數越多,權重的取值範圍 0 – 100。主要是對rr演算法的一種優化和補充, LVS 會考慮每臺伺服器的效能,並給每臺伺服器新增要給權值,如果伺服器A的權值為1,伺服器B的權值為2,則排程到伺服器B的請求會是伺服器A的2倍。權值越高的伺服器,處理的請求越多。

3. 最少連結 lc
這個演算法會根據後端 RS 的連線數來決定把請求分發給誰,比如 RS1 連線數比 RS2 連線數少,那麼請求就優先發給 RS1 

4. 加權最少連結 wlc
這個演算法比 lc 多了一個權重的概念。

5. 基於區域性性的最少連線排程演算法 lblc
這個演算法是請求資料包的目標 IP 地址的一種排程演算法,該演算法先根據請求的目標 IP 地址尋找最近的該目標 IP 地址所有使用的伺服器,如果這臺伺服器依然可用,並且有能力處理該請求,排程器會盡量選擇相同的伺服器,否則會繼續選擇其它可行的伺服器

6. 複雜的基於區域性性最少的連線演算法 lblcr
記錄的不是要給目標 IP 與一臺伺服器之間的連線記錄,它會維護一個目標 IP 到一組伺服器之間的對映關係,防止單點伺服器負載過高。

7. 目標地址雜湊排程演算法 dh
該演算法是根據目標 IP 地址通過雜湊函式將目標 IP 與伺服器建立對映關係,出現伺服器不可用或負載過高的情況下,發往該目標 IP 的請求會固定發給該伺服器。

8. 源地址雜湊排程演算法 sh
與目標地址雜湊排程演算法類似,但它是根據源地址雜湊演算法進行靜態分配固定的伺服器資源。


轉載自:http://www.thinkphp.cn/topic/51067.html

相關推薦

Centos使用LVS+keepalive 搭建叢集原理

負載均衡叢集是 load balance 叢集的簡寫,翻譯成中文就是負載均衡叢集。常用的負載均衡開源軟體有nginx、lvs、haproxy,商業的硬體負載均衡裝置F5、Netscale。這裡主要是學習Linux下 LVS 並對其進行了詳細的總結記錄。一、負載均衡LVS基本介紹LB叢集的架構和原理很簡單,就是

Centos使用LVS+keepalive 搭建集群原理

求和 keepal 服務器ip UNC 場景 和數 發現 性能 nor 負載均衡集群是 load balance 集群的簡寫,翻譯成中文就是負載均衡集群。常用的負載均衡開源軟件有nginx、lvs、haproxy,商業的硬件負載均衡設備F5、Netscale。這裏主要是學習

HDFS叢集搭建,高可用雙機熱備模式(HA)自動切換,hdfs+zookeeper+journalnode,步驟分步原理(適合初學者)

有寫的不對的地方,歡迎各位同學評論指正,博主會進行修改。 前言 作者也是初學hadoop,瞭解各元件的用途,並且專案中有些東西用不到,所以作者用最簡化的元件搭建,避免多餘資源的浪費,作者最初構想是zookeeper+hdfs搭建一個分散式檔案系統,不用yarn和ma

ubuntu16.04叢集之間配置SSH免密碼登陸與原理

環境 vmware14.1虛擬機器中三臺ubuntu16.04 ip地址對映關係:如下 127.0.0.1 localhost 192.168.184.131 vm-01 192.168.184.132 vm-02 192.168.184.133

[Kafka] Apache Kafka 簡介、叢集搭建及配置

前言 kafka是一種高吞吐量的分散式釋出訂閱訊息系統,它可以處理消費者規模的網站中的所有動作流資料。這種動作(網頁瀏覽,搜尋和其他使用者的行動)是在現代網路上的許多社會功能的一個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 Kafk

Zookeeper叢集搭建(配置

軟體環境準備: Linux伺服器一臺、三臺、五臺(2*n+1臺);Java jdk 1.7;zookeeper 3.4.6版; 軟體安裝: 解壓jdk、zookeeper檔案到指定目錄,執行命令tar -zvxf xxxx.tar.gz -C /usr/local/pro

Hadoop虛擬機器叢集搭建及配置

配置步驟 1.新建Linux虛擬機器 2.安裝jdk,獲得root許可權 3.安裝成功後複製兩個虛擬機器,分別分別命名master、slave1、slave2 4.將三個虛擬機器相互連通,配置SSH無金鑰登入 5.在master中配置Hadoop環境,配置

hdfs偽分散式叢集搭建和部署

    大家好,這是我的第一篇技術部落格,也是第一篇部落格,請大家多多支援。我寫部落格的初衷無非是對所學知識的回顧和總結,同時能與廣大的讀者一起探討,共同進步,這是一件非常令人開心的事。     部落格的內容大都是大資料技術相關,今天要說的是hadoop,以後會可能還會更新

Dubbo入門-分散式原理--搭建一個最簡單的Demo框架

Dubbo背景和簡介 Dubbo開始於電商系統,因此在這裡先從電商系統的演變講起。 1,單一應用框架(ORM) 當網站流量很小時,只需一個應用,將所有功能如下單支付等都部署在一起,以減少部署節點和成本。 缺點:單一的系統架構,使得在開發過程中,佔用的資源越來越多,而且隨著流量的增加越來越難以維護  2.

阿里雲伺服器搭建Solr叢集[圖文]

Solr叢集 Solr叢集的架構 SolrCloud 需要用到solr+zookeeper 要完成的叢集結構 Zookeeper 1、叢集管理 主從的管理、負載均衡、高可用的管理。叢集的入口。Zookeeper必須是叢集才能保證高可用。Zoo

磁盤陣列 RAID 技術原理

十分 單獨 很好 不同的 raid1 miss 和數 會同 帶寬 RAID一頁通整理所有RAID技術、原理並配合相應RAID圖解,給所有存儲新人提供一個迅速學習、理解RAID技術的網上資源庫,本文將持續更新,歡迎大家補充及投稿。中國存儲網一如既往為廣大存儲界朋友提供免費、精

解決ajax跨域的方法原理之Cors方法

詳細 不同 htm 渲染 jsonp del 需要 methods href 1、神馬是跨域(Cross Domain) 對於端口和協議的不同,只能通過後臺來解決。 一句話:同一個ip、同一個網絡協議、同一個端口,三者都滿足就是同一個域,否則就是 跨域問題了。而為

Nginx+Php-fpm運行原理

pop 圖片 ron 什麽 地址 pan webserver family tid 一、代理與反向代理 現實生活中的例子 1、正向代理:訪問google.com 如上圖,因為google被墻,我們需要vpnFQ才能訪問google.com。 vpn對於“我們”來說,是可

虛擬化技術基礎原理

虛擬化技術基礎原理詳解DISK : IO調度模式 CFQ deadline anticipatory NOOP/sys/block/<device>/queue/schedulerMemory: MMU TLB vm.swappiness={0..100},使用交換分區的

常用 JavaScript 小技巧及原理

this lin slice pen global 轉化 script lis fun 善於利用JS中的小知識的利用,可以很簡潔的編寫代碼 1. 使用!!模擬Boolean()函數 原理:邏輯非操作一個數據對象時,會先將數據對象轉換為布爾值,然後取反,兩個!!重復取反,就實

Storm概念、原理及其應用(一)BaseStorm

when 結構 tails 並發數 vm 虛擬機 cif 異步 優勢 name 本文借鑒官文,添加了一些解釋和看法,其中有些理解,寫的比較粗糙,有問題的地方希望大家指出。寫這篇文章,是想把一些官文和資料中基礎、重點拿出來,能總結出便於大家理解的話語。與大多數“wordc

主成分分析(PCA)原理(轉載)

增加 信息 什麽 之前 repl 神奇 cto gmail 協方差 一、PCA簡介 1. 相關背景 上完陳恩紅老師的《機器學習與知識發現》和季海波老師的《矩陣代數》兩門課之後,頗有體會。最近在做主成分分析和奇異值分解方面的項目,所以記錄一下心得體會。

lvs和keeplived的工作原理

lvs+keeplived的工作原理一、lvs的工作原理 使用集群的技術和liunx的操作系統實現一個高性能、高可用的服務器。可伸縮性、可靠性、很好的管理性。 特點:可伸縮網絡服務的幾種結構,它們都需要一個前端的負載調度器(或者多個進行主從備份)。我們先分析實現虛擬網絡服務的主要技術,指出IP負載均衡技術

js中幾種實用的跨域方法原理

自身 標簽 cdc 返回 屬性和方法 插入 實用 封裝 判斷 這裏說的js跨域是指通過js在不同的域之間進行數據傳輸或通信,比如用ajax向一個不同的域請求數據,或者通過js獲取頁面中不同域的框架中(iframe)的數據。只要協議、域名、端口有任何一個不同, 都被當作是不同

http原理

tor keep 接受 地址 lru structure 格式 dns 請求方式 1. HTTP簡介 HTTP協議(HyperText Transfer Protocol,超文本傳輸協議)是用於從WWW服務器傳輸超文本到本地瀏覽器的傳送協議。它可以使瀏覽器