百萬PV網站架構案例
阿新 • • 發佈：2018-07-31
lease 問題 enable 刷新 color nta out face 關註 案例概述
本案例設計采用四層模式實現，主要分為前端反向代理層、Web層、數據庫緩存層和數據庫層。前端反向代理層采用主備模式，Web層采用集群模式，數據庫緩存層采用主備模式，數據庫層采用主從模式。
拓撲架構如圖所示，實線是正常情況下的數據流向連接，虛線是異常情況下的數據流向連接。
案例環境
| 主機名 | IP地址 | 用途 |
|---|---|---|
| master | 192.168.10.157 | 前端反向代理主機、redis緩存主機、MySQL數據主庫 |
| backup | 192.168.10.161 | 前端反向代理備機、redis緩存備機、MySQL數據從庫 |
| tomcat1 | 192.168.10.163 | web服務 |
| tomcat2 | 192.168.10.164 | Web服務 |
| 測試機 | 192.168.10.134 | 測試 |
這裏前端使用Kepalived作為高可用軟件，虛擬IP設置為192.168.10.100
由於是搭建學習測試環境，所以關閉了上述所有服務器的防火墻和Selinux。如果是生產環境建議開啟防火墻。所有服務都是默認配置的，沒有進行任何優化，需要撐起更大的訪問量必須要進行優化。
另外，生產環境建議將MySQL的分區設置為xfs類型，因為在大多數場景下，整體IOPS表現還是要比ext4來的更高、更穩定，延遲也更小。
安裝步驟
部署前端兩臺反向代理服務器
1、前端兩臺反向代理服務器安裝keepalived，nginx
#安裝epel和nginx源
rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install -y keepalived nginx2、修改keepalived配置文件
vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { route_id NGINX_HA //修改，兩臺代理服務器區分 } vrrp_script nginx { script "/opt/shell/nginx.sh" //觸發腳本 interval 2 //兩秒檢查一次 } vrrp_instance VI_1 { state MASTER //服務器類型為主（備：BACKUP） interface ens33 virtual_router_id 51 //修改，兩臺代理服務器區分 priority 100 //備代理服務器低於主 advert_int 1 authentication { auth_type PASS auth_pass 1111 } track_script { nginx //引用上方定義好的nginx腳本 } virtual_ipaddress { 192.168.10.100 //VIP } }
3、編寫觸發腳本，啟動keepalived服務時帶著開啟nginx
mkdir /opt/shell
vi /opt/shell/nginx.sh
#!/bin/bash
k=`ps -ef | grep keepalived | grep -v grep | wc -l`
if [ $k -gt 0 ];then
/bin/systemctl start nginx.service
else
/bin/systemctl stop nginx.service
fi
chmod +x /opt/shell/nginx.sh
4、配置nginx前端調度功能並開啟服務
vi /etc/nginx/nginx.conf //在include 上面一行新增
upstream tomcat_pool {
server 192.168.10.163:8080; //指明後端tomcat服務器IP地址和端口
server 192.168.10.164:8080;
ip_hash; //會話穩固功能，否則無法通過vip地址登陸
}
server {
listen 80;
server_name 192.168.10.100; //VIP
location / {
proxy_pass http://tomcat_pool;
proxy_set_header X-Real-IP $remote_addr;
}
}
nginx -t -c /etc/nginx/nginx.conf //測試配置文件語法
systemctl start keepalived.service //啟動keepalived，nginx啟動會等待一會
netstat -ntap | grep nginx 
部署兩臺Tomcat服務器
1、安裝jdk
tar xf jdk-8u144-linux-x64.tar.gz -C /opt
cd /opt
cp -rv jdk1.8.0_144/ /usr/local/java
vi /etc/profile //加入環境變量
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export PATH=$PATH:/usr/local/java/bin
export CLASSPATH=./:/usr/local/java/lib:/usr/local/java/jre/lib
source /etc/profile //立即生效
java -version //可查看版本
java version "1.8.0_144"
……
……
2、安裝Tomcat
tar xf apache-tomcat-8.5.23.tar.gz -C /opt
cd /opt
cp -r apache-tomcat-8.5.23 /usr/local/tomcat8
ln -s /usr/local/tomcat8/bin/startup.sh /usr/bin/tomcatup
ln -s /usr/local/tomcat8/bin/shutdown.sh /usr/bin/tomcatdown //方便管理，創建軟鏈接3、啟動Tomcat
tomcatup
netstat -anpt | grep 8080
#可使用瀏覽器測試默認測試頁是否正常顯示
http://192.168.10.163:8080/
http://192.168.10.164:8080/
測試http://192.168.10.163:8080/ 
4、測試兩臺Tomcat節點調度情況
vi /usr/local/tomcat8/webapps/ROOT/index.jsp //修改默認網頁內容
<h1>tomcat server 1 !!</h1>
#第二臺Tomcat服務器首頁修改為：<h1>tomcat server 2 !!</h1>
#重啟Tomcat後測試
http://192.168.10.100/ //瀏覽器輸入調度器地址，也就是虛擬地址，測試兩臺節點的調度情況。修改首頁文件後測試
使用VIP測試
5、修改server.xml文件
cd /usr/local/tomcat8/conf/
vi server.xml //跳到行尾，在148行Host name下新增
<Context path="" docBase="SLSaleSystem" reloadable="true" debug="0"></Context>
//日誌調試信息debug為0表示信息越少，docBase指定訪問目錄，SLSaleSystem為後面要部署的會員商城網站
安裝部署MySQL
在兩臺前端代理服務器上操作
1、安裝mariadb並啟動
yum install -y mariadb-server mariadb
systemctl start mariadb.service
systemctl enable mariadb.service
netstat -anpt | grep 3306
mysql_secure_installation //常規安全設置
mysql -u root -p //使用設置好的密碼進入數據庫
2、導入數據庫
mysql -u root -p < slsaledb-2014-4-10.sql //導入數據庫
mysql -u root -p
show databases; //可查看到slsaledb數據庫
授權
GRANT all ON slsaledb.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘abc123‘;
flush privileges; //刷新狀態 3、在Tomcat服務器上部署網站
#將網站壓縮包解壓至nginx首頁目錄
tar xf SLSaleSystem.tar.gz -C /usr/local/tomcat8/webapps/
cd /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes
vi jdbc.properties //修改數據庫IP地址為VIP，以及授權的用戶名root和密碼abc123。
4、網站測試
http://192.168.10.163:8080/ //默認的用戶名admin 密碼：123456
http://192.168.10.164:8080/
#節點沒有問題後使用虛擬IP測試
http://192.168.10.100 //輸入虛擬地址測試登錄，並且關閉主再測試登錄
使用VIP訪問登錄後的頁面
兩臺代理服務器上安裝並配置Redis主從
1、安裝Redis並啟動
#使用centos7.4 默認源安裝
yum install -y epel-release
yum install redis -y
vi /etc/redis.conf
bind 0.0.0.0 //改為監聽所有
systemctl start redis.service
netstat -anpt | grep 63792、主連接測試
redis-cli -h 192.168.10.157 -p 6379 //測試連接
192.168.10.157:6379> set name test //設置name 值是test
192.168.10.157:6379> get name //獲取name值
3、從服務器配置文件上多如下一行配置
slaveof 192.168.10.157 6379 //266行，IP為主服務器的IP不是虛擬IP測試
redis-cli -h 192.168.10.161 -p 6379 //登錄從，獲取值，成功說明主從同步成功
192.168.10.161:6379> get name
"test"
4、配置商城項目中連接redis的參數
vi /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes/applicationContext-mybatis.xml
38 <!--redis 配置 開始-->
47 <constructor-arg value="192.168.10.100"/> //VIP
48 <constructor-arg value="6379"/>
5、測試緩存效果
redis-cli -h 192.168.10.100 -p 6379
192.168.10.100:6379> info
keyspace_hits:1 或者 keyspace_misses:2 //關註這個值，命中數和未命中數
登錄商城，然後反復點擊需要數據庫參與的操作頁面，再回來檢查keyspace_hits或者keyspace_misses 值變化。
6、配置redis集群主從切換,只在主服務器上操作
redis-cli -h 192.168.10.157 info Replication //獲取當前服務器的角色
vi /etc/redis-sentinel.conf
17 protected-mode no //去掉#開啟
68 sentinel monitor mymaster 192.168.10.157 6379 1 //1表示1臺從 註意：修改
98 sentinel down-after-milliseconds mymaster 3000 //故障切換時間單位是毫秒
systemctl start redis-sentinel.service //啟動集群
netstat -anpt | grep 26379
redis-cli -h 192.168.10.157 -p 26379 info Sentinel //查看集群信息驗證主從切換
systemctl stop redis.service //主上關閉redis
redis-cli -h 192.168.10.157 -p 26379 info Sentinel //發現主變成了從：192.168.10.161
驗證數據同步情況
#從上創建數據
redis-cli -h 192.168.10.161 -p 6379
192.168.10.161:6379> set name2 test2
OK
192.168.10.161:6379> get name2
"test2"
service redis start //把主啟動
redis-cli -h 192.168.10.157 -p 6379
192.168.10.157:6379> get name2
"test2"
配置mysql主從同步
1、mysql主服務器配置
vi /etc/my.cnf // 在[mysqld]下添加如下內容
binlog-ignore-db=mysql,information_schema
character_set_server=utf8
log_bin=mysql_bin
server_id=1 //從需要修改，與此區分
log_slave_updates=true
sync_binlog=1
systemctl restart mariadb //重啟數據庫
netstat -anpt | grep 3306
mysql -u root -p
show master status; //記錄日誌文件名稱和 位置值
grant replication slave on *.* to ‘rep‘@‘192.168.10.%‘ identified by ‘123456‘; //授權同步
flush privileges;
2、mysql從服務器配置
vi /etc/my.cnf //在[mysqld]下修改如下內容，其余與主一樣
server_id=2
systemctl restart mariadb //重啟數據庫
netstat -anpt | grep 3306
mysql -u root -p
change master to master_host=‘192.168.10.157‘,master_user=‘rep‘,master_password=‘123456‘,master_log_file=‘mysql_bin.000001‘,master_log_pos=245;
start slave; //開始同步
show slave status\G;
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
可在MySQL主上建表測試驗證從的同步
百萬PV網站架構案例