三、負載均衡與web服務集群搭建
LB集群的架構和原理很簡單,就是當用戶的請求過來時,會直接分發到Director Server上,然後它把用戶的請求根據設置好的調度算法,智能均衡地分發到後端真正服務器(real server)上。為了避免不同機器上用戶請求得到的數據不一樣,需要用到了共享存儲,這樣保證所有用戶請求的數據是一樣的。
LVS是 Linux Virtual Server 的簡稱,也就是Linux虛擬服務器。這是一個由章文嵩博士發起的一個開源項目,它的官方網站是http://www.linuxvirtualserver.org 現在 LVS 已經是 Linux 內核標準的一部分。使用 LVS 可以達到的技術目標是:通過 LVS 達到的負載均衡技術和 Linux 操作系統實現一個高性能高可用的 Linux 服務器集群,它具有良好的可靠性、可擴展性和可操作性。從而以低廉的成本實現最優的性能。LVS 是一個實現負載均衡集群的開源軟件項目,LVS架構從邏輯上可分為調度層、Server集群層和共享存儲。
二、LVS的基本工作原理
1. 當用戶向負載均衡調度器(Director Server)發起請求,調度器將請求發往至內核空間
2. PREROUTING鏈首先會接收到用戶請求,判斷目標IP確定是本機IP,將數據包發往INPUT鏈
3. IPVS是工作在INPUT鏈上的,當用戶請求到達INPUT時,IPVS會將用戶請求和自己已定義好的集群服務進行比對,如果用戶請求的就是定義的集群服務,那麽此時IPVS會強行修改數據包裏的目標IP地址及端口,並將新的數據包發往POSTROUTING鏈
4. POSTROUTING鏈接收數據包後發現目標IP地址剛好是自己的後端服務器,那麽此時通過選路,將數據包最終發送給後端的服務器
三、LVS的組成
LVS 由2部分程序組成,包括 ipvs 和 ipvsadm。
1. ipvs(ip virtual server):一段代碼工作在內核空間,叫ipvs,是真正生效實現調度的代碼。
2. ipvsadm:另外一段是工作在用戶空間,叫ipvsadm,負責為ipvs內核框架編寫規則,定義誰是集群服務,而誰是後端真實的服務器(Real Server)
四、LVS相關術語
1. DS:Director Server。指的是前端負載均衡器節點。
2. RS:Real Server。後端真實的工作服務器。
3. VIP:向外部直接面向用戶請求,作為用戶請求的目標的IP地址。
4. DIP:Director Server IP,主要用於和內部主機通訊的IP地址。
6. CIP:Client IP,訪問客戶端的IP地址。
下邊是三種工作模式的原理和特點總結。
五、LVS/NAT原理和特點
1. 重點理解NAT方式的實現原理和數據包的改變。
(a). 當用戶請求到達Director Server,此時請求的數據報文會先到內核空間的PREROUTING鏈。 此時報文的源IP為CIP,目標IP為VIP
(b). PREROUTING檢查發現數據包的目標IP是本機,將數據包送至INPUT鏈
(c). IPVS比對數據包請求的服務是否為集群服務,若是,修改數據包的目標IP地址為後端服務器IP,然後將數據包發至POSTROUTING鏈。 此時報文的源IP為CIP,目標IP為RIP
(d). POSTROUTING鏈通過選路,將數據包發送給Real Server
(e). Real Server比對發現目標為自己的IP,開始構建響應報文發回給Director Server。 此時報文的源IP為RIP,目標IP為CIP
(f). Director Server在響應客戶端前,此時會將源IP地址修改為自己的VIP地址,然後響應給客戶端。 此時報文的源IP為VIP,目標IP為CIP
2. LVS-NAT模型的特性
RS應該使用私有地址,RS的網關必須指向DIP
DIP和RIP必須在同一個網段內
請求和響應報文都需要經過Director Server,高負載場景中,Director Server易成為性能瓶頸
支持端口映射
RS可以使用任意操作系統
缺陷:對Director Server壓力會比較大,請求和響應都需經過director server
六、LVS/DR原理和特點
1. 重將請求報文的目標MAC地址設定為挑選出的RS的MAC地址
(a) 當用戶請求到達Director Server,此時請求的數據報文會先到內核空間的PREROUTING鏈。 此時報文的源IP為CIP,目標IP為VIP
(b) PREROUTING檢查發現數據包的目標IP是本機,將數據包送至INPUT鏈
(c) IPVS比對數據包請求的服務是否為集群服務,若是,將請求報文中的源MAC地址修改為DIP的MAC地址,將目標MAC地址修改RIP的MAC地址,然後將數據包發至POSTROUTING鏈。 此時的源IP和目的IP均未修改,僅修改了源MAC地址為DIP的MAC地址,目標MAC地址為RIP的MAC地址
(d) 由於DS和RS在同一個網絡中,所以是通過二層來傳輸。POSTROUTING鏈檢查目標MAC地址為RIP的MAC地址,那麽此時數據包將會發至Real Server。
(e) RS發現請求報文的MAC地址是自己的MAC地址,就接收此報文。處理完成之後,將響應報文通過lo接口傳送給eth0網卡然後向外發出。 此時的源IP地址為VIP,目標IP為CIP
(f) 響應報文最終送達至客戶端
2. LVS-DR模型的特性
特點1:保證前端路由將目標地址為VIP報文統統發給Director Server,而不是RS
RS可以使用私有地址;也可以是公網地址,如果使用公網地址,此時可以通過互聯網對RIP進行直接訪問
RS跟Director Server必須在同一個物理網絡中
所有的請求報文經由Director Server,但響應報文必須不能進過Director Server
不支持地址轉換,也不支持端口映射
RS可以是大多數常見的操作系統
RS的網關絕不允許指向DIP(因為我們不允許他經過director)
RS上的lo接口配置VIP的IP地址
缺陷:RS和DS必須在同一機房中
3. 特點1的解決方案:
在前端路由器做靜態地址路由綁定,將對於VIP的地址僅路由到Director Server
存在問題:用戶未必有路由操作權限,因為有可能是運營商提供的,所以這個方法未必實用
arptables:在arp的層次上實現在ARP解析時做防火墻規則,過濾RS響應ARP請求。這是由iptables提供的
修改RS上內核參數(arp_ignore和arp_announce)將RS上的VIP配置在lo接口的別名上,並限制其不能響應對VIP地址解析請求。
七、LVS/Tun原理和特點
在原有的IP報文外再次封裝多一層IP首部,內部IP首部(源地址為CIP,目標IIP為VIP),外層IP首部(源地址為DIP,目標IP為RIP)
(a) 當用戶請求到達Director Server,此時請求的數據報文會先到內核空間的PREROUTING鏈。 此時報文的源IP為CIP,目標IP為VIP 。
(b) PREROUTING檢查發現數據包的目標IP是本機,將數據包送至INPUT鏈
(c) IPVS比對數據包請求的服務是否為集群服務,若是,在請求報文的首部再次封裝一層IP報文,封裝源IP為為DIP,目標IP為RIP。然後發至POSTROUTING鏈。 此時源IP為DIP,目標IP為RIP
(d) POSTROUTING鏈根據最新封裝的IP報文,將數據包發至RS(因為在外層封裝多了一層IP首部,所以可以理解為此時通過隧道傳輸)。 此時源IP為DIP,目標IP為RIP
(e) RS接收到報文後發現是自己的IP地址,就將報文接收下來,拆除掉最外層的IP後,會發現裏面還有一層IP首部,而且目標是自己的lo接口VIP,那麽此時RS開始處理此請求,處理完成之後,通過lo接口送給eth0網卡,然後向外傳遞。 此時的源IP地址為VIP,目標IP為CIP
(f) 響應報文最終送達至客戶端
LVS-Tun模型特性
RIP、VIP、DIP全是公網地址
RS的網關不會也不可能指向DIP
所有的請求報文經由Director Server,但響應報文必須不能進過Director Server
不支持端口映射
RS的系統必須支持隧道
其實企業中最常用的是 DR 實現方式,而 NAT 配置上比較簡單和方便,後邊實踐中會總結 DR 和 NAT 具體使用配置過程。
八、LVS的八種調度算法
1. 輪叫調度 rr
這種算法是最簡單的,就是按依次循環的方式將請求調度到不同的服務器上,該算法最大的特點就是簡單。輪詢算法假設所有的服務器處理請求的能力都是一樣的,調度器會將所有的請求平均分配給每個真實服務器,不管後端 RS 配置和處理能力,非常均衡地分發下去。
2. 加權輪叫 wrr
這種算法比 rr 的算法多了一個權重的概念,可以給 RS 設置權重,權重越高,那麽分發的請求數越多,權重的取值範圍 0 – 100。主要是對rr算法的一種優化和補充, LVS 會考慮每臺服務器的性能,並給每臺服務器添加要給權值,如果服務器A的權值為1,服務器B的權值為2,則調度到服務器B的請求會是服務器A的2倍。權值越高的服務器,處理的請求越多。
3. 最少鏈接 lc
這個算法會根據後端 RS 的連接數來決定把請求分發給誰,比如 RS1 連接數比 RS2 連接數少,那麽請求就優先發給 RS1
4. 加權最少鏈接 wlc
這個算法比 lc 多了一個權重的概念。
5. 基於局部性的最少連接調度算法 lblc
這個算法是請求數據包的目標 IP 地址的一種調度算法,該算法先根據請求的目標 IP 地址尋找最近的該目標 IP 地址所有使用的服務器,如果這臺服務器依然可用,並且有能力處理該請求,調度器會盡量選擇相同的服務器,否則會繼續選擇其它可行的服務器
6. 復雜的基於局部性最少的連接算法 lblcr
記錄的不是要給目標 IP 與一臺服務器之間的連接記錄,它會維護一個目標 IP 到一組服務器之間的映射關系,防止單點服務器負載過高。
7. 目標地址散列調度算法 dh
該算法是根據目標 IP 地址通過散列函數將目標 IP 與服務器建立映射關系,出現服務器不可用或負載過高的情況下,發往該目標 IP 的請求會固定發給該服務器。
8. 源地址散列調度算法 sh
與目標地址散列調度算法類似,但它是根據源地址散列算法進行靜態分配固定的服務器資源。
下面實踐lvs nat模式+nginx反向代理
主機名 | ip地址 | 角色 | vip |
lvs01 | 192.168.1.90 | 4層負載 | 192.168.1.206 |
lvs02 | 192.168.1.91 | 4層負載 | 192.168.1.206 |
lb01 | 192.168.1.5 | 7層負載 | |
lb02 | 192.168.1.6 | 7層負載 | |
web-nginx01 | 172.16.1.33 | 靜態服務器 | |
web-nginx02 | 172.16.1.34 | 靜態服務器 | |
web-tomcat01 | 172.16.1.31 | 動態服務器 | |
web-tomcat02 | 172.16.1.32 | 動態服務器 |
lvs部署
1.編輯realserver腳本文件(在lb01 lb02上)
cd /etc/init.d/ vim realserver # chkconfig: 35 23 94 SNS_VIP=192.168.1.206 . /etc/init.d/functions case "$1" in start) ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP /sbin/route add -host $SNS_VIP dev lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1 echo "RealServer Start OK" ;; stop) ifconfig lo:0 down route del $SNS_VIP >/dev/null 2>&1 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce echo "RealServer Stoped" ;; *) echo "Usage: $0 {start|stop}" exit 1 esac exit 0 chmod 755 realserver service realserver start chkconfig realserver on
2.配置主負載服務器
安裝Keepalived ipvsadm相關包
yum install -y keepalived ipvsadm vim /etc/keepalived/keepalived.conf global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server 192.168.80.1 smtp_connection_timeout 30 router_id LVS01 #設置lvs的id,在一個網絡內應該是唯一的 } vrrp_instance VI_1 { state MASTER #指定Keepalived的角色,MASTER為主,BACKUP為備 interface eth1 #指定Keepalived檢測網卡 virtual_router_id 51 #虛擬路由編號,主備要一致 priority 100 #定義優先級,數字越大,優先級越高,主DR必須大於備用DR advert_int 1 #檢查間隔,默認為1s authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.206 #定義虛擬IP(VIP)為192.168.1.206,可多設,每行一個 } } virtual_server 192.168.80.200 80 { #定義對外提供服務的LVS的VIP以及port delay_loop 6 #設置健康檢查時間,單位是秒 lb_algo wrr #設置負載調度的算法為wrr lb_kind DR #設置LVS實現負載的機制,有NAT、TUN、DR三個模式 nat_mask 255.255.255.0 persistence_timeout 0 protocol TCP real_server 192.168.1.5 80 { #指定real server1的IP地址 weight 3 #配置節點權值,數字越大權重越高 TCP_CHECK { connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } real_server 192.168.1.6 80 { #指定real server2的IP地址 weight 3 TCP_CHECK { connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } }
3.配置備負載服務器
只需要修改
router_id LVS02 priority 99
4.啟動keepalived (lvs01 lvs02)
/etc/init.d/keepalived start chkconfig keepalived on
nginx反向代理 7層負載
1.安裝nginx(lb01 lb02)
yum install -y pcre-devel openssl-devel pcre openssl mkdir -p /application/tools/ cd /application/tools/ wget http://nginx.org/download/nginx-1.12.2.tar.gz useradd www -M -s /sbin/nologin -u 504 tar xf nginx-1.12.2.tar.gz cd nginx-1.12.2 ./configure --prefix=/application/nginx-1.12.2 --user=www --group=www --with-http_ssl_module --with-http_stub_status_module make && make install ln -s /application/nginx-1.12.2/ /application/nginx echo "#nginx" >>/etc/rc.local echo "/application/nginx/sbin/nginx" >>/etc/rc.local cd /application/nginx/conf egrep -v "#|^$" /application/nginx/conf/nginx.conf.default > /application/nginx/conf/nginx.conf
添加後端服務器nginx健康檢測模塊
1.下載模塊
wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip unzip master
2.打補丁
cd /application/tools/nginx-1.12.2 patch -p1 < /application/tools/nginx_upstream_check_module-master/check_1.12.1+.patc
3.重新編譯
./configure --prefix=/application/nginx-1.12.2 --user=www --group=www --with-http_ssl_module --with-http_stub_status_module --add-module=/application/tools/nginx_upstream_check_module-master make rm -rf /usr/local/bin/nginx mv /application/nginx/sbin/nginx /application/nginx/sbin/nginx.bak cp ./objs/nginx /application/nginx/sbin/ ln -s /application/nginx/sbin/nginx /usr/local/bin/nginx
4.修改配置文件 動靜分離 靜態內容由nginx服務器處理(web-nginx01 web-nginx02) 動態內容由tomcat處理(web-tomcat01 web-tomcat02)
worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream tomcat { server 172.16.1.31:8080 weight=1; server 172.16.1.32:8080 weight=1; check interval=3000 rise=2 fall=5 timeout=1000 type=http; } upstream nginx { server 172.16.1.33 weight=1; server 172.16.1.34 weight=1; check interval=3000 rise=2 fall=5 timeout=1000 type=http; } server { listen 80; server_name www.e3mall.com; location / { proxy_pass http://tomcat; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } location ~ .*.(gif|jpg|jpeg|png|bmp|swf|css|js)$ { proxy_pass http://nginx; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } location /status { check_status; access_log off; allow 172.16.1.0/24; deny all; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
nginx服務器安裝(web-nginx01 web-nginx02)
1.部署nginx
yum install -y pcre-devel openssl-devel pcre openssl rpm -qa pcre-devel openssl-devel
2.下載nginx-1.12.2
cd /application/tools/ wget http://nginx.org/download/nginx-1.12.2.tar.gz useradd www -M -s /sbin/nologin -u 504
3.編譯安裝
tar xf nginx-1.12.2.tar.gz cd nginx-1.12.2 ./configure --prefix=/application/nginx-1.12.2 --user=www --group=www --with-http_ssl_module --with-http_stub_status_module make && make install ln -s /application/nginx-1.12.2/ /application/nginx chown -R www:www /application/nginx-1.12.2 echo "#nginx" >>/etc/rc.local echo "/application/nginx/sbin/nginx" >>/etc/rc.local cd /application/nginx/conf egrep -v "#|^$" nginx.conf.default > nginx.conf
tomcat服務器安裝(web-tomcat01 web-tomcat02)
1.安裝jdk1.7
http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-i586.tar.gz mkdir /java cd /java wget http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-i586.tar.gz tar xf jdk-7u80-linux-x64.tar.gz chown -R root:root /java/jdk1.7.0_80 cat << EOF >>/etc/profile export PATH=/java/jdk1.7.0_80/bin:$PATH export CLASSPATH=.:/java/jdk1.7.0_80/lib/dt.jar:$JAVA_HOME/lib/tools.jar EOF source /etc/profile
2.安裝tomcat
wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-7/v7.0.88/bin/apache-tomcat-7.0.88.tar.gz tar xf apache-tomcat-7.0.88.tar.gz ln -s /application/tools/apache-tomcat-7.0.88 /application/apache-tomcat cd /application/apache-tomcat/bin/ tar xf commons-daemon-native.tar.gz cd commons-daemon-1.1.0-native-src/unix/ ./configure make cp jsvc /application/apache-tomcat/bin/ 建立一個用來運行Tomcat的用戶 useradd tomcat -M -s /usr/sbin/nologin -u 504 vim /application/apache-tomcat/bin/daemon.sh 靠前的地方加入註釋 #!/bin/sh # chkconfig: - 80 20 若創建用戶不是tomcat 這裏修改為創建用戶 test ".$TOMCAT_USER" = . && TOMCAT_USER=tomcat cd /application/apache-tomcat/bin/ chown -R tomcat:tomcat /application/tools/apache-tomcat-7.0.88 chmod a+x /application/apache-tomcat/bin/daemon.sh ln -s /application/apache-tomcat/bin/daemon.sh /etc/init.d/tomcat7 chkconfig tomcat7 on /etc/init.d/tomcat7 start
部署動靜分離測試網站
1.tomcat1
cd /application/apache-tomcat/webapps/ mkdir nginx/image -p chown -R tomcat.tomcat /application/apache-tomcat/webapps/nginx cd nginx vim index.jsp <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html> <body> <h2>Nginx動靜分離</h2> <% out.println("["+request.getLocalAddr()+":" +request.getLocalPort()+"]" + "<br/>session id:" + session.getId()); %> %<br/> %<img alt="圖片" src="/nginx/img/1.jpg" style="width:300px;height:300px"> %</body> %</html> vim /application/apache-tomcat/conf/server.xml <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"> <Context path="" docBase="/application/apache-tomcat/webapps/nginx" reloadable="true" /> tomcat2上同上修改網站路徑
2.復制測試網站到其他三臺服務器
scp -r nginx/ [email protected]:/application/apache-tomcat/webapps/ scp -r nginx/ [email protected]:/application/nginx/html scp -r nginx/ [email protected]:/application/nginx/html
3.nginx01 nginx02 配置
chown -R www.www /application/nginx/html/nginx vim /application/nginx/conf/nginx.conf worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 80; server_name www.e3mall.com; location / { root html/nginx; index index.jsp; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
動靜分離測試
1.刪除tomcat服務器下的image目錄下的圖片
[root@web-tomcat01 image]# rm -rf 1.png [root@web-tomcat02 image]# rm -rf 1.png
2.網頁訪問測試
三、負載均衡與web服務集群搭建