1. 程式人生 > >超詳解百萬PV網站架構案例部署(內附安裝包)

超詳解百萬PV網站架構案例部署(內附安裝包)

事先 接下來 ecc vim 兩臺 keepaliv lis chm back

網站架構概述

網站架構是根據客戶需求分析的結果,準確定位網站目標群體,設定網站的整體架構,規劃、設計網站欄目及其內容,制定網站開發流程的順序,最大限度地進行高效資源分配與管理的設計。

網站架構分很多種,一般我們平常所說的是軟件方面的架構,例如:

  • 前端使用了什麽代理服務器?
  • web服務器用的是什麽?
  • 中間又使用了什麽緩存服務器?
  • 數據庫服務器用的是什麽?
  • 代碼又是基於什麽框架開發的?
  • 這個網站架構每天訪問量有多少(通常所說的PV)?並發數為多少?

PV(page view 頁面瀏覽量)即點擊量,通常是衡量一個網絡新聞頻道或網站甚至一條網絡新聞的主要指標。PV之於網站,就像收視率之於電視,從某種程度上已成為投資者衡量商業網站表現的最重要的尺度。

PV:一個訪問者在24小時(0點--24點)內到底看了網站的幾個頁面,這裏需要註意的是,同一個人瀏覽網站的同一個頁面,不重復計算PV量,點100次也只算1次。
查詢網站PV可以訪問Alexa.cn,免費提供網站訪問量查詢,網站瀏覽量查詢和排名變化趨勢數據查詢。
本次案例概述

采用四層模式實現,主要分為前端反向代理層、Web層、數據庫緩存層和數據庫層。前端反向代理層層采用主備模式,Web層采用群集模式,數據庫緩存層采用主備模式,數據庫層采用主從模式。

架構拓撲圖:實線是正常情況數據流向,虛線是異常情況下的數據流向。
技術分享圖片
實驗環境部署:

主機名 IP地址 用途 操作系統
master 192.168.195.140 前端nginx反向代理主機、redis緩存主機、mysql數據主庫 CentOS7
backup 192.168.195.147 前端nginx反向代理備機、redis緩存備機、mysql數據備庫 CentOS7
web1 192.168.195.162 tomcat搭建的web服務器 CentOS7
web2 192.168.195.163 tomcat搭建的web服務器 CentOS7

本實驗僅作為學習驗證,為了簡便所以將nginx反向代理,mysql數據庫與redis緩存數據代理整合到一起。
百度雲盤提供實驗需要的安裝包:

apache-tomcat-8.5.23.tar.gz:https://pan.baidu.com/s/11dTUADKp8kRyxAaL8QugVw

jdk-8u144-linux-x64.tar.gz:https://pan.baidu.com/s/13G9qfPiVBD8IdLqsY0wVGw
SLSaleSystem.tar.gz:https://pan.baidu.com/s/1lhm402WvoQg-YI0YDaUEtw
slsaledb-2014-4-10.sql:https://pan.baidu.com/s/13wpxroqMah83DkoZJbUVZg

首先關閉所有實驗主機的防火墻,selinux功能

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

一,部署nginx反向代理,並使用keepalived實現雙機熱備。
1,在master,backup上面yum安裝nginx,keepalived
由於CentOS7系統默認yum源沒有提供nginx軟件包,所以需要重新下載含nginx軟件包的yum源

rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install keepalived nginx -y

技術分享圖片
2,修改keepalived配置文件,構建雙機熱備,並加入觸發nginx啟動腳本的配置項,關聯nginx服務,實現keepalived服務與nginx服務能夠同時啟動與關閉。
master,backup主從都要設置,個別配置項的區別在下面有說明

vim /etc/keepalived/keepalived.conf
global_defs {
router_id NGINX_HA //主從相同,並刪除後面4行配置
}

vrrp_script nginx { //加入觸發腳本配置
script "/opt/shell/nginx.sh"
interval 2
}

vrrp_instance VI_1 {
state MASTER //主為MASTER,從為BACKUP
interface ens33 //網卡為ens33
virtual_router_id 51 //主從不能相同,從的設為52
priority 100 //主的優先級大於從的,從的設為90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
track_script { //調用前面的出發腳本配置
nginx
}
virtual_ipaddress {
192.168.195.188 //設置共同的虛擬IP,主從相同
}
} //以下其他配置項都刪除

3,編寫觸發nginx啟動的腳本,註意與keepalived配置文件裏面的設定路徑,文件名相同

mkdir /opt/shell
vim /opt/shell/nginx.sh
#!/bin/bash
k=ps -ef | grep keepalived | grep -v grep | wc -l
if [ $k -gt 0 ];then
/usr/bin/systemctl start nginx.service
else
/usr/bin/systemctl stop nginx.service
fi

chmod +x /opt/shell/nginx.sh

技術分享圖片
4,修改nginx配置文件,配置反向代理,主從配置內容相同

vim /etc/nginx/nginx.conf
upstream tomcat_pool {
server 192.168.195.162:8080; #指定web1地址與端口
server 192.168.195.163:8080; #指定web2地址與端口
ip_hash; #會話穩固功能,否則無法通過VIP地址登陸
}
server{
listen 80;
server_name 192.168.195.188; #虛擬IP
location /{
proxy_pass http://tomcat_pool;
proxy_set_header X-Real-IP $remote_addr;
}
}

技術分享圖片

nginx -t #檢查配置文件語法
systemctl start keepalived.service
ps aux | grep keepalived

技術分享圖片
在master。backup上nginx反向代理服務搭建好了
二,接下來在web1,web2上搭建tomcat,提供web服務
1,解壓事先準備好的安裝包

tar zxvf apache-tomcat-8.5.23.tar.gz -C /usr/local
tar zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local
cd /usr/local
mv apache-tomcat-8.5.23 tomcat8
mv jdk1.8.0_144 java

2,由於tomcat是由java開發的,所以需要配置JDK環境變量

vim /etc/profile
添加如下環境變量

export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export PATH=$PATH:/usr/local/java/bin
export CLASSPATH=./:/usr/local/java/lib:/usr/local/java/jre/lib

技術分享圖片

source /etc/profile

java -version //查看tomcat版本

3,將tomcat軟件包中的啟動腳本,關閉腳本生成鏈接文件,使linux系統能夠識別,優化tomcat服務啟動,關閉管理

ln -s /usr/local/tomcat8/bin/startup.sh /usr/bin/tomcatup
ln -s /usr/local/tomcat8/bin/shutdown.sh /usr/bin/tomcatdown

tomcatup //開啟tomcat
tomcatdown //關閉tomcat

技術分享圖片
4,編寫測試頁面,為了實驗效果編輯不同的測試網頁

cd /usr/local/tomcat8/webapps/ROOT
mv index.jsp index.jsp.bak
vim index.jsp
<h1>this is server 162</h1> //編寫測試頁面,web1,web2內容不同

web1上面的操作
技術分享圖片
web2上面的操作
技術分享圖片
5,在瀏覽器測試頁面,驗證nginx反向代理功能
(1)首先使用各自的ip地址進行訪問
技術分享圖片技術分享圖片
(2)再使用虛擬IP訪問測試反向代理,註意由於沒有設置權重,需將其中一個web服務關閉,才能看到另外一個web服務的頁面
技術分享圖片
技術分享圖片
三,在master,backup上面yum安裝數據庫mariadb

yum install -y mariadb-server mariadb
systemctl start mariadb.service
systemctl enable mariadb.service

netstat -antp | grep 3306

技術分享圖片

mysql_secure_installation //安全功能引導設置 因為是yum 安裝的
設置密碼後 最後一個出現tables時 Yy就好,其余為n

技術分享圖片技術分享圖片
mysql -uroot -p //登陸mariadb
技術分享圖片
四,配置SL商城網站上線服務
1,在master,backup上把事先準備的SL商城網站項目導入mariadb數據庫

mysql -uroot -pabc123 < slsaledb-2014-4-10.sql
mysql -uroot -pabc123 -e ‘show databases;‘

技術分享圖片

mysql -uroot -pabc123
grant all on slsaledb.* to ‘root‘@‘%‘ identified by ‘123123‘; //授權
flush privileges;

技術分享圖片
2,在兩臺web服務器上添加SL商城服務項目,並進行相關配置

tar zxvf SLSaleSystem.tar.gz -C /usr/local/tomcat8/webapps
cd /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes
vim jdbc.properties #修改數據庫IP地址:是VIP.以及授權用戶名root和密碼123123

技術分享圖片

vim /usr/local/tomcat8/conf/server.xml
在148行添加如下:
<Context path="" docBase="SLSaleSystem" reloadable="true" ddebug="0"></Context> #添加需要上線服務的位置變量

技術分享圖片
技術分享圖片
重啟tomcat

tomcatdown
tomcatup

網站測試
http://192.168.195.162:8080/ //默認的用戶名admin 密碼:123456
http://192.168.195.163:8080/ //默認的用戶名admin 密碼:123456
http://192.168.195.188 //輸入虛擬地址測試登錄
技術分享圖片
技術分享圖片
技術分享圖片
五,在master,backup上安裝redis緩存,部署主從和群集

yum install -y epel-release //linux系統默認yum源沒有redis軟件包,需先安裝epel源
yum install redis -y //使用yum命令安裝redis
service redis start //開啟redis服務

1,部署redis主從
(1)修改redis配置文件
redis主服務器上修改

vim /etc/redis.conf

bind 0.0.0.0 //任意地址

redis從服務器上修改

vim /etc/redis.conf

bind 0.0.0.0 //任意地址
265行下添加:slaveof 192.168.195.147 6379 //主redis 的IP與端口

(2)重啟redis服務,redis默認端口為6379

service redis restart
netstat -antp | grep 6379

技術分享圖片技術分享圖片
(3)驗證redis主從同步
在master上設置name值為test,在backup上可以獲取name的值,證明redis可以主從復制
技術分享圖片
技術分享圖片
2,在web服務器上配置商城項目中連接redis的參數

vim /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes/applicationContext-mybatis.xml

38行 <!--redis 配置 開始-->
<constructor-arg value="192.168.195.188"/> #虛擬IP
<constructor-arg value="6379"/>

技術分享圖片

tomcatdown
tomcatup

測試緩存效果,在redis 上連接VIP

redis-cli -h 192.168.195.188 -p 6379

192.168.195.188:6379> info
keyspace_hits:1 或 keyspace_misses:1 //關註這個值,命中和未命中登陸商城,然後反復點擊需要數據庫參與的操作界面,再來回檢查

技術分享圖片
命中發生變化,說明redis參與工作。
技術分享圖片
3,配置redis群集
在master主服務器操作

redis-cli -h 192.168.195.147 info Replication //獲取當前服務器狀態

vim /etc/redis-sentinel.conf
17 protected-mode no
69 sentinel monitor mymaster 192.168.195.147 6379 1 //1表示1臺服務器
98 sentinel down-after-milliseconds mymaster 3000 //故障切換時間

技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片

systemctl start redis-sentinel //啟動群集,從服務器backup也要開啟群集
netstat -antp | grep 26379

技術分享圖片技術分享圖片

redis-cli -h 192.168.195.147 -p 26379 info Sentinel //查看群集信息

技術分享圖片
驗證主從切換
在主master上:

systemctl stop redis //停止redis
redis-cli -h 192.168.195.147 -p 26379 info Sentinel //再次查看

技術分享圖片

systemctl start redis.service //再次開啟是不會主動回到master ,除非關閉從的redis

驗證redis數據同步情況
在master上
技術分享圖片
在backup上
技術分享圖片
六,配置數據庫mariadb主從復制

vim /etc/my.cnf

[mysqld]下
binlog-ignore-db=mysql,information_schema
character_set_server=utf8
log_bin=mysql_bin
server_id=1 //在從服務器backup的id需要修改
log_slave_updates=true
sync-binlog=1

systemctl restart mariadb.service

netstat -antp | grep 3306

技術分享圖片
在master上登錄,給從backup進行授權

mysql -u root -p

grant replication slave on . to ‘rep‘@‘192.168.195.%‘ identified by ‘123123‘;

flush privileges;

show master status; //記錄日誌文件與偏移量

技術分享圖片
在backup上同步master的數據

mysql -u root -p
change master to master_host=‘192.168.195.147‘,master_user=‘rep‘,master_password=‘123123‘,master_log_file=‘mysql_bin.000001‘,master_log_pos=473;
start slave; //開啟主從復制
show slave status\G; //查看狀態
Slave_IO_Running: Yes //得到這兩個為Yes的值
Slave_SQL_Running: Yes

技術分享圖片
技術分享圖片

到此項目架構部署完成。

超詳解百萬PV網站架構案例部署(內附安裝包)