在CentOS7上部署百萬PV網站架構
阿新 • • 發佈：2018-07-31
相同 var b2b term 功能 虛擬 repl shell lse 網站架構概述
網站架構是根據客戶需求分析的結果，準確定位網站目標群體，設定網站的整體架構，規劃、設計網站欄目及其內容，制定網站開發流程的順序，最大限度地進行高效資源分配與管理的設計。
百萬PV網站架構
案例設計
采用四層模式實現，主要分為前端反向代理層、Web層、數據庫緩存層和數據庫層。前端反向代理層層采用主備模式，Web層采用群集模式，數據庫緩存層采用主備模式，數據庫層采用主從模式。
為了更接近生產環境，采用兩臺實體機部署此次環境，將前端反向代理層、數據庫緩存層、數據庫層部署在實體機上，只將Web層部署在KVM虛擬機當中。同時將每一層都做了高可用架構，保證業務的穩定性。
拓撲架構如圖所示，實線是正常情況下的數據流向連接，虛線是異常情況下的數據流向連接。
實驗環境表：
實驗步驟
Nginx反向代理和keepalived
1.前端兩臺反向代理服務器安裝帶有nginx rpm軟件包的源---主從都要做
[root@localhost ~]#rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm1）使用centos默認倉庫完成下面的安裝
[root@localhost ~]#yum install -y keepalived nginx
2）配置前端反向代理主機的/etc/keepalived/keepalived.conf 配置文件如下：
[root@localhost ~]#vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived vrrp_script nginx { interval 2 } global_defs { notification_email { } global_defs { notification_email { [email protected] [email protected] } notification_email_from [email protected] smtp_server 192.168.200.1 smtp_connect_timeout 30 } vrrp_instance VI_1 { state MASTER interface ens33 virtual_router_id 51 priority 100 ! Configuration File for keepalived vrrp_script nginx { #添加 script "/opt/shell/nginx.sh" interval 2 } global_defs { notification_email { [email protected] [email protected] [email protected] } notification_email_from [email protected] smtp_server 192.168.200.1 smtp_connect_timeout 30 router_id NGINX_HA } state MASTER [email protected] } notification_email_from [email protected] smtp_server 192.168.200.1 smtp_connect_timeout 30 router_id NGINX_HA } vrrp_instance VI_1 { state MASTER #主服務器 interface ens33 virtual_router_id 51 priority 100 #優先級 advert_int 1 authentication { auth_type PASS auth_pass 1111 } track_script { #添加 nginx } virtual_ipaddress { 192.168.126.188 #內網虛擬IP 192.168.100.188 #外網虛擬IP } }
3）在配置文件裏面載入了一個nginx.sh腳本，腳本的含義是如果keepalived已啟動，那麽每兩秒檢查並啟動一次nginx服務。
創建/opt/shell/nginx.sh文件，內容如下：
[root@localhost ~]# mkdir /opt/shell
[root@localhost ~]# cd /opt/shell/
[root@localhost shell]# vim nginx.sh
#!/bin/bash
k=`ps -ef | grep keepalived | grep -v grep | wc -l`
if [ $k -gt 0 ];then
/bin/systemctl start nginx.service
else
/bin/systemctl stop nginx.service
fi
[root@localhost shell]# chmod +x nginx.sh #腳本增加可執行權限4）前端反向代理備機的配置與主服務器的配置基本上相同，唯一不同的是keepalived的配置，內容如下：
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
vrrp_script nginx { #nginx觸發腳本
script "/opt/shell/nginx.sh"
interval 2
}
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected]
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id NGINX_HB # 名稱
}
vrrp_instance VI_1 {
state BACKUP #從服務器
interface ens33
virtual_router_id 52 #id號
priority 90 #優先級
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
track_script { #添加
nginx
}
virtual_ipaddress {
192.168.126.188 #虛擬IP
192.168.100.188
}
}以下配置都一樣，這裏不再編譯。
2.在主從服務器上配置nginx前端調度功能
[root@localhost PV]# vim /etc/nginx/nginx.conf
#gzip on;
upstream tomcat_pool {
server 192.168.126.193:8080; #兩臺節點服務器的IP
server 192.168.126.194:8080;
ip_hash; #會話穩固功能，否則無法通過vip地址登陸
}
server {
listen 80;
server_name 192.168.126.188; #虛擬出的IP
location / {
proxy_pass http://tomcat_pool; proxy_set_header X-Real-IP $remote_addr;
}
} 1）測試配置文件語法
[root@localhost PV]# nginx -t -c /etc/nginx/nginx.conf
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful2）啟動keepalived服務後，nginx服務也會啟動。
[root@localhost PV]# systemctl stop firewalld.service
[root@localhost PV]# setenforce 0
[root@localhost PV]# systemctl start keepalived.service3）測試keepalived的雙機熱備功能
關閉主機的Keepalived服務，查看虛擬IP是否可以自動漂移到備機上。
主服務器：
[root@localhost PV]# ip addr
inet 192.168.126.138/24 brd 192.168.126.255 scope global dynamic ens33
valid_lft 1697sec preferred_lft 1697sec
inet 192.168.126.188/32 scope global ens33
valid_lft forever preferred_lft forever
[root@localhost PV]# systemctl stop keepalived.service
link/ether 00:0c:29:15:68:5d brd ff:ff:ff:ff:ff:ff
inet 192.168.126.138/24 brd 192.168.126.255 scope global dynamic ens33
valid_lft 1625sec preferred_lft 1625sec
inet6 fe80::7f06:3732:bb38:c9e1/64 scope link
valid_lft forever preferred_lft forever
備份服務器：
[root@localhost ~]# ip addr
link/ether 00:0c:29:5b:03:86 brd ff:ff:ff:ff:ff:ff
inet 192.168.126.192/24 brd 192.168.126.255 scope global dynamic ens33
valid_lft 1180sec preferred_lft 1180sec
inet 192.168.126.188/32 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.100.188/32 scope global ens33 #虛擬IP自動漂移成功註意：再次將主服務器的keepalived服務開啟後，虛擬IP又會漂移到主服務器上。在兩臺節點服務器上安裝Tomcat（配置相同）
1.解壓jdk-8u144-linux-x64.tar.gz和apache-tomcat-8.5.23.tar.gz安裝包到/opt/目錄下
[root@localhost PV]# tar zxvf jdk-8u144-linux-x64.tar.gz -C /opt/
[root@localhost PV]# tar zxvf apache-tomcat-8.5.23.tar.gz -C /opt/2.把解壓後的文件移動到/usr/local目錄下並且創建新的目錄，方便管理。
[root@localhost PV]# cd /opt/
[root@localhost opt]# ls
apache-tomcat-8.5.16 apache-tomcat-8.5.23 jdk1.8.0_144 jdk1.8.0_91 rh
[root@localhost opt]# mv jdk1.8.0_144/ /usr/local/java
[root@localhost opt]# mv apache-tomcat-8.5.23/ /usr/local/tomcat83.在/etc/profile配置文件行尾，添加以下內容：
[root@localhost opt]# vim /etc/profile
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export PATH=$PATH:/usr/local/java/bin
export CLASSPATH=./:/usr/local/java/lib:/usr/local/java/jre/lib
[root@localhost opt]# source /etc/profile #啟動[root@localhost opt]# ln -s /usr/local/tomcat8/bin/startup.sh /usr/bin/tomcatup[root@localhost opt]# ln -s /usr/local/tomcat8/bin/shutdown.sh /usr/bin/tomcatdown4.啟動tomcat服務並查看其8080端口是否開啟
[root@localhost opt]# systemctl stop firewalld.service
[root@localhost opt]# setenforce 0
[root@localhost opt]# tomcatup
[root@localhost opt]# netstat -ntap | grep 8080
tcp6 0 0 :::8080 :::* LISTEN 3255/java 5.打開瀏覽器測試默認測試頁是否正常顯示
6.修改默認網頁內容
[root@localhost opt]# cd /usr/local/tomcat8/webapps/ROOT/
[root@localhost ROOT]# mv index.jsp index.jsp.bk
[root@localhost ROOT]# vim index.jsp
<h1>Server abc01！！</h1>7.輸入調度器地址，也就是虛擬地址，測試兩臺節點的調度情況。如圖所示：
1）停止節點服務器1的tomcat服務，再次刷新瀏覽器，查看是否調度成功。如圖所示：
[root@localhost ROOT]# tomcatdown 
8.修改/usr/local/tomcat8/conf/server.xml在Host name下新增以下內容：
[root@localhost conf]# vim server.xml
<Context path="" docBase="SLSaleSystem" reloadable="true" debug="0"></Context> #日誌調試信息debug為0表示信息越少，docBase指定訪問目錄。在主從服務器安裝Mysql數據庫
1.安裝mariadb服務
[root@localhost PV]# yum install mariadb-server mariadb -y
[root@localhost PV]# systemctl enable mariadb.service #開啟自啟動
[root@localhost PV]# systemctl start mariadb.service #開啟服務
[root@localhost PV]# netstat -ntap | grep 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 28285/mysqld 2.常規安全設置
[root@localhost PV]# mysql_secure_installation
Enter current password for root (enter for none): #Enter
Set root password? [Y/n] y 設置用戶密碼
New password: #abc123
Re-enter new password: #確認密碼abc123
Remove anonymous users? 刪除匿名用戶 n
Disallow root login remotely? 不允許遠程root登錄嗎? n
Remove test database and access to it? 刪除測試數據庫並訪問它? n
Reload privilege tables now? 現在重新加載權限表嗎? y3.導入數據庫slsaledb
[root@localhost PV]# mysql -u root -p < slsaledb-2014-4-10.sql
[root@localhost PV]# mysql -u root -p
MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| slsaledb |
| test |
+--------------------+
5 rows in set (0.02 sec)
MariaDB [(none)]> GRANT all ON slsaledb.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘abc123‘; #授權
MariaDB [(none)]> flush privileges; #刷新4.在兩臺tomcat節點修改數據庫IP地址是VRRP的虛擬IP，以及授權的用戶名root和密碼abc123。
[root@localhost PV]# tar zxvf SLSaleSystem.tar.gz -C /usr/local/tomcat8/webapps/
[root@localhost PV]# cd /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/
classes/
[root@localhost classes]# vim jdbc.properties
driverClassName=com.mysql.jdbc.Driver
url=jdbc\:mysql\://192.168.126.188\:3306/slsaledb?useUnicode\=true&characterEncoding\=UTF-8
uname=root #用戶名
password=abc123 #密碼
minIdle=10
maxIdle=50
initialSize=5
maxActive=100
maxWait=100
removeAbandonedTimeout=180
removeAbandoned=true5.打開瀏覽器進行測試網站
安裝並配置redis主從緩存服務器
1.redis簡介
redis是一個高性能的key-value數據庫，和Memcached類似，但它支持的value類型更多。與Memcached一樣，為了保證效率，數據都是緩存在內存中的。
區別是：redis會周期性地把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件中，並且在此基礎上實現了master-slave（主從）同步。
2.安裝並配置redis主從
[root@localhost ~]# yum install -y epel-release
[root@localhost ~]#yum install redis -y3.修改主從緩存服務器的redis主配置文件/etc/redis.conf中的監聽端口，修改為bind 0.0.0.0。
[root@localhost ~]# vim /etc/redis.conf
bind 0.0.0.0 #61行
從服務器上多如下一行配置
slaveof 192.168.126.138 6379 #主服務器的IP不是虛擬IP（266行）4.啟動redis服務
[root@localhost ~]# systemctl start redis.service
[root@localhost ~]# netstat -anpt | grep 6379
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 50475/redis-server 5.測試連接
主服務器：
[root@localhost ~]# redis-cli -h 192.168.126.138 -p 6379
192.168.126.138:6379> set name test #設置name 值是test
OK
192.168.126.138:6379> get name #獲取name值
"test"
從服務器：
[root@localhost ~]# redis-cli -h 192.168.126.192 -p 6379 #登錄從，獲取值，成功說明主從同步成功。
192.168.126.192:6379> get name
"test"
192.168.126.192:6379> 6.在tomcat節點服務器上，配置商城項目中連接redis的參數。
[root@localhost classes]#cd /usr/local/tomcat8/webapps/SLSaleSystem/WEB-INF/classes/
[root@localhost classes]# vim applicationContext-mybatis.xml
<constructor-arg value="192.168.126.188"/> #47行
<constructor-arg value="6379"/> #48行7.測試緩存效果
[root@localhost ~]# redis-cli -h 192.168.126.188 -p 6379
192.168.126.188:6379> info
.....//省略
evicted_keys:0
keyspace_hits:1 #keyspace_hits:1 或者 keyspace_misses:2//關註這個值，命中數和未命中數
keyspace_misses:0
pubsub_channels:0登錄商城，然後反復點擊需要數據庫參與的操作頁面，再回來檢查keyspace_hits或者keyspace_misses: 值變化。如果keyspace_hits:1 值變為2，說明redis在正常工作。
8.配置redis集群主從切換---只在主服務器是操作
[root@localhost ~]# vi /etc/redis-sentinel.conf
protected-mode no #17行 開啟
sentinel monitor mymaster 192.168.126.138 6379 1 #1表示1臺從 註意：修改為主IP
sentinel down-after-milliseconds mymaster 3000 #故障切換時間單位是毫秒9.啟動集群
[root@localhost ~]# service redis-sentinel start
[root@localhost ~]# netstat -anpt | grep 26379
tcp 0 0 0.0.0.0:26379 0.0.0.0:* LISTEN 57151/redis-sentine
tcp6 0 0 :::26379 :::* LISTEN 57151/redis-sentine
[root@localhost ~]# redis-cli -h 192.168.126.138 -p 26379 infoSentinel #查看集群信息
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.126.138:6379,slaves=1,sentinels=110.驗證主從切換
主服務器：
root@localhost ~]# systemctl stop redis.service #關閉主服務器的redis服務
[root@localhost ~]# redis-cli -h 192.168.126.138 -p 26379 info Sentinel # Sentinel #發現主切換成從服務器的IP
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.126.192:6379,slaves=1,sentinels=111.驗證數據同步情況
在主服務器上：
[root@localhost ~]# redis-cli -h 192.168.126.192 -p 6379
192.168.126.192:6379> set name2 test2
OK
192.168.126.192:6379> get name2
"test2"
192.168.126.192:6379>
在從服務器上查看：
[root@localhost ~]# redis-cli -h 192.168.126.192 -p 6379
192.168.126.192:6379> get name2
"test2"
啟動主服務器的redis服務：
[root@localhost ~]# systemctl start redis.service
[root@localhost ~]# redis-cli -h 192.168.126.138 -p 6379
192.168.126.138:6379> get name2
"test2" #同步成功在主從服務器上配置Mysql主從復制
1.首選主庫需要開啟binlog日誌，在打開主庫的/etc/my.cnf文件裏面增加以下內容：
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
binlog-ignore-db=mysql,information_schema #日誌
character_set_server=utf8 #字符集
log_bin=mysql_bin #二進制日誌
server_id=1 #從服務器的id號不能相同
log_slave_updates=true
sync_binlog=12.重啟數據庫
[root@localhost ~]# systemctl restart mariadb.service
[root@localhost ~]# netstat -ntap | grep 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 65321/mysqld 3.登錄主庫並授權，允許從庫的指定用戶從主庫讀取日誌。
[root@localhost ~]# mysql -u root -p
MariaDB [(none)]> show master status; #記錄日誌文件名稱和 位置值
+------------------+----------+--------------+--------------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+--------------------------+
| mysql_bin.000001 | 245 | | mysql,information_schema |
+------------------+----------+--------------+--------------------------+
1 row in set (0.00 sec)
MariaDB [(none)]> grant replication slave on *.* to ‘rep‘@‘192.168.126.%‘ identified by ‘123456‘; #授權
MariaDB [(none)]> flush privileges;3.Mysql從數據庫配置
[root@localhost ~]# mysql -u root -p
MariaDB [(none)]> change master to master_host=‘192.168.126.138‘,master_user=‘rep‘,master_password=‘123456‘,master_log_file=‘mysql_bin.000001‘,master_log_pos=245;
MariaDB [(none)]> start slave;
Ma
riaDB [(none)]> show slave status\G;
.....//省略
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
4.測試主從同步
在Mysql主服務器上創建一個庫，看從服務器上是否能夠同步主服務器的新數據庫。
主服務器：
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| school |
| slsaledb |
| test |
+--------------------+
6 rows in set (0.28 sec)
從服務器：
MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| school | #
| slsaledb |
| test |
+--------------------+
6 rows in set (0.19 sec)
同步成功，實驗成功。
在CentOS7上部署百萬PV網站架構