LVS原理詳解（3種工作方式8種調度算法）--老男孩
阿新 • • 發佈：2018-02-08
工作流程圖 nfs服務器 靈活 做成 靈活性 www. 24小時 必須 其他 一、LVS原理詳解（4種工作方式8種調度算法）
集群簡介
集群就是一組獨立的計算機，協同工作，對外提供服務。對客戶端來說像是一臺服務器提供服務。
LVS在企業架構中的位置：
以上的架構只是眾多企業裏面的一種而已。綠色的線就是用戶訪問請求的數據流向。用戶-->LVS負載均衡服務器--->apahce服務器--->mysql服務器&memcache服務器&共享存儲服務器。並且我們的mysql、共享存儲也能夠使用LVS再進行負載均衡。
集群的特點：
1）高性能performance。一些需要很強的運算處理能力比如天氣預報，核試驗等。這就不是幾臺計算機能夠搞定的。這需要上千臺一起來完成這個工作的。 
從上圖可以看出lpvs是工作在內核層，我們不能夠直接操作ipvs，lvs負載均衡調度技術是在linux內核中實現的。
使用ipvsadm配置管理ipvs來管理lvs，
使用keepalived也可以用來管理lvs。
LVS的四種工作模式：
1）VS/NAT模式（Network address translation）
2）VS/TUN模式（tunneling）
3）DR模式（Direct routing）
4）FULLNAT模式（淘寶應用）
DR模式（直接路由模式）（互聯網企業中最常用的模式）
Virtual server via direct routing (vs/dr)
DR模式是通過改寫請求報文的目標MAC地址，將請求發給真實服務器的，而真實服務器響應後的處理結果直接返回給客戶端用戶。DR模式可以極大的提高集群系統的伸縮性。調度器LB與真實服務器RS都有一塊網卡連接到同一物理網段上，必須在同一個局域網內
DR模式原理圖：
DR模式原理過程簡述：
LVS/DR模式的工作流程圖如上圖所示，DR模式將報文直接路由給目標真實服務器。在DR模式中，調度器根據調度算法選擇RS來處理請求，不修改目標IP地址和目標端口，也不封裝IP報文，而是將請求報文的數據幀的目標MAC地址改為真實服務器的MAC地址。然後再將修改的數據幀在服務器組的局域網上發送。因為數據幀的MAC地址是真實服務器的MAC地址，並且又在同一個局域網。那麽根據局域網的通訊原理，RS是一定能夠收到由LB發出的數據包。RS接收到請求數據包的時候，解開IP包頭查看到的目標IP是VIP。（此時只有自己的IP符合目標IP才會接收進來，所以我們需要在本地的回環接口上面配置VIP。另：由於網絡接口都會進行ARP廣播響應，集群的其他機器都有這個VIP的lo接口，都響應就會沖突。所以我們需要把RS的lo接口的ARP響應關閉掉，抑制arp請求。）然後真實服務器做成請求響應，之後根據自己的路由信息將這個響應數據包發送回給客戶，並且源IP地址還是VIP。
DR模式小結：
1、通過在調度器LB上修改數據包的目的MAC地址實現轉發。註意源地址仍然是CIP，目的地址仍然是VIP地址。
2、請求的報文經過調度器，而RS響應處理後的報文無需經過調度器LB，因此並發訪問量大時使用效率很高（和NAT模式比）
3、因為DR模式是通過MAC地址改寫機制實現轉發，因此所有RS節點和調度器LB只能在一個局域網裏面
4、RS主機需要綁定VIP地址在LO接口上，並且需要配置ARP抑制。
5、RS節點的默認網關不需要配置成LB，而是直接配置為上級路由的網關，能讓RS直接出網就可以。
6、由於DR模式的調度器僅做MAC地址的改寫，所以調度器LB就不能改寫目標端口，那麽RS服務器就得使用和VIP相同的端口提供服務。
NAT模式-網絡地址轉換
Virtualserver via Network address translation(VS/NAT)
這個是通過網絡地址轉換的方法來實現調度的。首先調度器(LB)接收到客戶的請求數據包時（請求的目的IP為VIP），根據調度算法決定將請求發送給哪個後端的真實服務器（RS）。然後調度就把客戶端發送的請求數據包的目標IP地址及端口改成後端真實服務器的IP地址（RIP）,這樣真實服務器（RS）就能夠接收到客戶的請求數據包了。真實服務器響應完請求後，查看默認路由（NAT模式下我們需要把RS的默認路由設置為LB服務器。）把響應後的數據包發送給LB,LB再接收到響應包後，把包的源地址改成虛擬地址（VIP）然後發送回給客戶端。
調度過程IP包詳細圖：
原理圖簡述：
1)客戶端請求數據，目標IP為VIP
2)請求數據到達LB服務器，LB根據調度算法將目的地址修改為RIP地址及對應端口（此RIP地址是根據調度算法得出的。）並在連接HASH表中記錄下這個連接。
3)數據包從LB服務器到達RS服務器webserver，然後webserver進行響應。Webserver的網關必須是LB，然後將數據返回給LB服務器。
4)收到RS的返回後的數據，根據連接HASH表修改源地址VIP&目標地址CIP，及對應端口80.然後數據就從LB出發到達客戶端。
5)客戶端收到的就只能看到VIP\DIP信息。
NAT模式優缺點：
1、NAT技術將請求的報文和響應的報文都需要通過LB進行地址改寫，因此網站訪問量比較大的時候LB負載均衡調度器有比較大的瓶頸，一般要求最多之能10-20臺節點
2、只需要在LB上配置一個公網IP地址就可以了。
3、每臺內部的節點服務器的網關地址必須是調度器LB的內網地址。
4、NAT模式支持對IP地址和端口進行轉換。即用戶請求的端口和真實服務器的端口可以不一致。
TUN模式
virtual server via ip tunneling模式:采用NAT模式時，由於請求和響應的報文必須通過調度器地址重寫，當客戶請求越來越多時，調度器處理能力將成為瓶頸。為了解決這個問題，調度器把請求的報文通過IP隧道轉發到真實的服務器。真實的服務器將響應處理後的數據直接返回給客戶端。這樣調度器就只處理請求入站報文，由於一般網絡服務應答數據比請求報文大很多，采用VS/TUN模式後，集群系統的最大吞吐量可以提高10倍。
VS/TUN的工作流程圖如下所示，它和NAT模式不同的是，它在LB和RS之間的傳輸不用改寫IP地址。而是把客戶請求包封裝在一個IP tunnel裏面，然後發送給RS節點服務器，節點服務器接收到之後解開IP tunnel後，進行響應處理。並且直接把包通過自己的外網地址發送給客戶不用經過LB服務器。
Tunnel原理流程圖:
原理圖過程簡述：
1）客戶請求數據包，目標地址VIP發送到LB上。
2）LB接收到客戶請求包，進行IP Tunnel封裝。即在原有的包頭加上IP Tunnel的包頭。然後發送出去。
3）RS節點服務器根據IP Tunnel包頭信息（此時就又一種邏輯上的隱形隧道，只有LB和RS之間懂）收到請求包，然後解開IP Tunnel包頭信息，得到客戶的請求包並進行響應處理。
4）響應處理完畢之後，RS服務器使用自己的出公網的線路，將這個響應數據包發送給客戶端。源IP地址還是VIP地址。（RS節點服務器需要在本地回環接口配置VIP，後續會講）
官方三種負載均衡技術比較總結表：
LVS調度算法
最好參考此文章：http://www.linuxvirtualserver.org/zh/lvs4.html
Lvs的調度算法決定了如何在集群節點之間分布工作負荷。當director調度器收到來自客戶端訪問VIP的上的集群服務的入站請求時，director調度器必須決定哪個集群節點應該處理請求。Director調度器用的調度方法基本分為兩類：
固定調度算法：rr，wrr，dh，sh
動態調度算法：wlc，lc，lblc，lblcr
LVS調度算法的生產環境選型：
1、一般的網絡服務，如http，mail，mysql等常用的LVS調度算法為：
a.基本輪詢調度rr
b.加權最小連接調度wlc
c.加權輪詢調度wrc
2、基於局部性的最小連接lblc和帶復制的給予局部性最小連接lblcr主要適用於web cache和DB cache
3、源地址散列調度SH和目標地址散列調度DH可以結合使用在防火墻集群中，可以保證整個系統的出入口唯一。
實際適用中這些算法的適用範圍很多，工作中最好參考內核中的連接調度算法的實現原理，然後根據具體的業務需求合理的選型。
參考鏈接：作者：woshiliwentong 發布日期：2014-01-06 09:31:20
ipvs工作在kernel層，無法直接訪問，可以通過ipvsadm進行管理。也可以通過keepalived來進行管理
以上的架構只是眾多企業裏面的一種而已。綠色的線就是用戶訪問請求的數據流向。用戶-->LVS負載均衡服務器--->apahce服務器--->mysql服務器&memcache服務器&共享存儲服務器。並且我們的mysql、共享存儲也能夠使用LVS再進行負載均衡。
集群的特點：
1）高性能performance。一些需要很強的運算處理能力比如天氣預報，核試驗等。這就不是幾臺計算機能夠搞定的。這需要上千臺一起來完成這個工作的。
從上圖可以看出lpvs是工作在內核層，我們不能夠直接操作ipvs，lvs負載均衡調度技術是在linux內核中實現的。
使用ipvsadm配置管理ipvs來管理lvs，
使用keepalived也可以用來管理lvs。
LVS的四種工作模式：
1）VS/NAT模式（Network address translation）
2）VS/TUN模式（tunneling）
3）DR模式（Direct routing）
4）FULLNAT模式（淘寶應用）
DR模式（直接路由模式）（互聯網企業中最常用的模式）
Virtual server via direct routing (vs/dr)
DR模式是通過改寫請求報文的目標MAC地址，將請求發給真實服務器的，而真實服務器響應後的處理結果直接返回給客戶端用戶。DR模式可以極大的提高集群系統的伸縮性。調度器LB與真實服務器RS都有一塊網卡連接到同一物理網段上，必須在同一個局域網內
DR模式原理圖：
DR模式原理過程簡述：
LVS/DR模式的工作流程圖如上圖所示，DR模式將報文直接路由給目標真實服務器。在DR模式中，調度器根據調度算法選擇RS來處理請求，不修改目標IP地址和目標端口，也不封裝IP報文，而是將請求報文的數據幀的目標MAC地址改為真實服務器的MAC地址。然後再將修改的數據幀在服務器組的局域網上發送。因為數據幀的MAC地址是真實服務器的MAC地址，並且又在同一個局域網。那麽根據局域網的通訊原理，RS是一定能夠收到由LB發出的數據包。RS接收到請求數據包的時候，解開IP包頭查看到的目標IP是VIP。（此時只有自己的IP符合目標IP才會接收進來，所以我們需要在本地的回環接口上面配置VIP。另：由於網絡接口都會進行ARP廣播響應，集群的其他機器都有這個VIP的lo接口，都響應就會沖突。所以我們需要把RS的lo接口的ARP響應關閉掉，抑制arp請求。）然後真實服務器做成請求響應，之後根據自己的路由信息將這個響應數據包發送回給客戶，並且源IP地址還是VIP。
DR模式小結：
1、通過在調度器LB上修改數據包的目的MAC地址實現轉發。註意源地址仍然是CIP，目的地址仍然是VIP地址。
2、請求的報文經過調度器，而RS響應處理後的報文無需經過調度器LB，因此並發訪問量大時使用效率很高（和NAT模式比）
3、因為DR模式是通過MAC地址改寫機制實現轉發，因此所有RS節點和調度器LB只能在一個局域網裏面
4、RS主機需要綁定VIP地址在LO接口上，並且需要配置ARP抑制。
5、RS節點的默認網關不需要配置成LB，而是直接配置為上級路由的網關，能讓RS直接出網就可以。
6、由於DR模式的調度器僅做MAC地址的改寫，所以調度器LB就不能改寫目標端口，那麽RS服務器就得使用和VIP相同的端口提供服務。
NAT模式-網絡地址轉換
Virtualserver via Network address translation(VS/NAT)
這個是通過網絡地址轉換的方法來實現調度的。首先調度器(LB)接收到客戶的請求數據包時（請求的目的IP為VIP），根據調度算法決定將請求發送給哪個後端的真實服務器（RS）。然後調度就把客戶端發送的請求數據包的目標IP地址及端口改成後端真實服務器的IP地址（RIP）,這樣真實服務器（RS）就能夠接收到客戶的請求數據包了。真實服務器響應完請求後，查看默認路由（NAT模式下我們需要把RS的默認路由設置為LB服務器。）把響應後的數據包發送給LB,LB再接收到響應包後，把包的源地址改成虛擬地址（VIP）然後發送回給客戶端。
調度過程IP包詳細圖：
原理圖簡述：
1)客戶端請求數據，目標IP為VIP
2)請求數據到達LB服務器，LB根據調度算法將目的地址修改為RIP地址及對應端口（此RIP地址是根據調度算法得出的。）並在連接HASH表中記錄下這個連接。
3)數據包從LB服務器到達RS服務器webserver，然後webserver進行響應。Webserver的網關必須是LB，然後將數據返回給LB服務器。
4)收到RS的返回後的數據，根據連接HASH表修改源地址VIP&目標地址CIP，及對應端口80.然後數據就從LB出發到達客戶端。
5)客戶端收到的就只能看到VIP\DIP信息。
NAT模式優缺點：
1、NAT技術將請求的報文和響應的報文都需要通過LB進行地址改寫，因此網站訪問量比較大的時候LB負載均衡調度器有比較大的瓶頸，一般要求最多之能10-20臺節點
2、只需要在LB上配置一個公網IP地址就可以了。
3、每臺內部的節點服務器的網關地址必須是調度器LB的內網地址。
4、NAT模式支持對IP地址和端口進行轉換。即用戶請求的端口和真實服務器的端口可以不一致。
TUN模式
virtual server via ip tunneling模式:采用NAT模式時，由於請求和響應的報文必須通過調度器地址重寫，當客戶請求越來越多時，調度器處理能力將成為瓶頸。為了解決這個問題，調度器把請求的報文通過IP隧道轉發到真實的服務器。真實的服務器將響應處理後的數據直接返回給客戶端。這樣調度器就只處理請求入站報文，由於一般網絡服務應答數據比請求報文大很多，采用VS/TUN模式後，集群系統的最大吞吐量可以提高10倍。
VS/TUN的工作流程圖如下所示，它和NAT模式不同的是，它在LB和RS之間的傳輸不用改寫IP地址。而是把客戶請求包封裝在一個IP tunnel裏面，然後發送給RS節點服務器，節點服務器接收到之後解開IP tunnel後，進行響應處理。並且直接把包通過自己的外網地址發送給客戶不用經過LB服務器。
Tunnel原理流程圖:
原理圖過程簡述：
1）客戶請求數據包，目標地址VIP發送到LB上。
2）LB接收到客戶請求包，進行IP Tunnel封裝。即在原有的包頭加上IP Tunnel的包頭。然後發送出去。
3）RS節點服務器根據IP Tunnel包頭信息（此時就又一種邏輯上的隱形隧道，只有LB和RS之間懂）收到請求包，然後解開IP Tunnel包頭信息，得到客戶的請求包並進行響應處理。
4）響應處理完畢之後，RS服務器使用自己的出公網的線路，將這個響應數據包發送給客戶端。源IP地址還是VIP地址。（RS節點服務器需要在本地回環接口配置VIP，後續會講）
官方三種負載均衡技術比較總結表：
ipvs工作在kernel層，無法直接訪問，可以通過ipvsadm進行管理。也可以通過keepalived來進行管理
LVS原理詳解（3種工作方式8種調度算法）--老男孩