1. 程式人生 > >rocketmq4.1.0部署及流量切換實踐

rocketmq4.1.0部署及流量切換實踐

rocketmq的配置及切換

rocketmq最主要的兩個程序nameserver和broker;nameserver主要負責(尋址-調度-切換),就是不需要keepalived,broker是消息隊列的主程序,這就不用多說了

host:
rocketmq1:11.0.0.15
rocketmq2:11.0.0.16

1.準備jdk和maven環境

cd /tools
wget http://endless.ws/jdk-8u151-linux-x64.tar.gz
tar xf jdk-8u151-linux-x64.tar.gz
mv jdk-8u151-linux-x64  /usr/local/jdk-8u151
ln -s /usr/local/jdk-8u151 /usr/local/jdk

cat >>~/.bash_profile<<EOF
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
export PATH=\$JAVA_HOME/bin:\$PATH:\$HOME/bin
EOF

cd /tools
wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz
tar xf apache-maven-3.5.2-bin.tar.gz
mv apache-maven-3.5.2 /usr/local/maven-3.5.2
ln -s  /usr/local/maven-3.5.2 /usr/local/maven

cat >>~/.bash_profile<<EOF
export MAVEN_HOME=/usr/local/maven
export PATH=\$MAVEN_HOME/bin:\$PATH
EOF
source ~/.bash_profile

2.下載rocketmq4.*(java程序)

cd /tools
wget https://github.com/apache/rocketmq/archive/rocketmq-all-4.1.0-incubating.tar.gz
tar xf rocketmq-all-4.1.0-incubating.tar.gz
cd  rocketmq-rocketmq-all-4.1.0-incubating
mvn -Prelease-all -DskipTests clean install -U
cd distribution/target/
cp -rp apache-rocketmq /usr/local/rocketmq

!#以上步驟可以使用兩臺服務器部署,到這裏rocketmq已經放到運維常用的目錄了,接下來就是配置等等問題。

3.配置(看好不爬坑)

我們選擇11.0.0.15做rocketmq調度尋址器(nameserver)

3.1 配置一(只列出了修改的行)

vim /usr/local/rocketmq/bin/runserver.sh

#!/bin/sh
JAVA_HOME=/usr/local/jdk #添加變量
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:PermSize=128m -XX:MaxPermSize=320m" #你確定你們的機器有如此大的內存

#這裏runserver.sh配置完成

3.2 配置二(只列出了修改的行)

vim /usr/local/rocketmq/bin/runbroker.sh
#!/bin/sh
JAVA_HOME=/usr/local/jdk #添加變量
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m" #你確定你的內存很大
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=1g" #你確定你的內存有16G

3.3 啟動尋址器11.0.0.15 配置三(尋址器啟動一個即可)

#替換
sed -i ‘s#${user.home}#/usr/local/rocketmq#g‘ /usr/local/rocketmq/conf/*.xml
#啟動mqnamesrv查看
nohup sh /usr/local/rocketmq/bin/mqnamesrv &
netstat -luntp  #可以看見一個9876端口,尋址器啟動成功

配置雙主(為了方便將舊的rocketmq進行切換,如果是使用舊的mq尋址器,後面的新mq服務器則可以不啟動尋址器)
這裏選擇conf目錄中的2m-noslave配置文件(自己根據需求配置)
cd /usr/local/rocketmq/conf/2m-noslave
vim broker-a.properties

brokerClusterName=DefaultCluster  #集群名稱
brokerName=broker-a    #集群中第一臺broker的名稱,可以自己設,如果不是第一臺可以使用a1啥的
brokerId=0    #0代表主 >0從
namesrvAddr=11.0.0.15:9876  #假如有一臺舊的尋址器11.0.0.12:9876(則填)
brokerIP1=11.0.0.15
defaultTopicQueueNums=4
listenPort=10911   #broker監聽端口
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=50000000
destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
diskMaxUsedSpaceRatio=88
storePathRootDir=/data/rocketmq/store
storePathCommitLog=/data/rocketmq/store/commitlog
flushIntervalCommitLog=1000
flushCommitLogTimed=false
maxTransferBytesOnMessageInMemory=262144
maxTransferCountOnMessageInMemory=32
maxTransferBytesOnMessageInDisk=65536
maxTransferCountOnMessageInDisk=8
accessMessageInMemoryMaxRatio=40
messageIndexEnable=true
messageIndexSafe=false
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
checkTransactionMessageEnable=false
sendMessageThreadPoolNums=128
pullMessageThreadPoolNums=128

3.4 配置四

#創建配置文件中數據目錄
mkdir /data/rocketmq/store/commitlog -p
mkdir /usr/local/rocketmq/logs/rocketmqlogs -p
#啟動mqbroker
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties &
#如果看到10909 10911 10912代表這臺mq啟動成功了

3.5配置五

#第二臺mq配置大致相同(不需要啟動尋址器mqnamesrv),依然是配置broker-a.properties
#尋址器依然是配    namesrvAddr=11.0.0.15:9876
#broker名稱            brokerName=broker-a1
#本機IP                   brokerIP1=11.0.0.16

#到這裏其實可以啟動broker了
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties &

3.6 高興的太早還不行

#這裏還需要將第一臺mq的store目錄拷貝到新mq的對應目錄
scp -rp [email protected]:/data/rocketmq/store /data/rocketmq/

#有的同學可能不在/data目錄(自己查看內容是否正確,還有位置)
scp -rp [email protected]:/root/store /data/rocketmq/

自己測試,最好安裝一個console,可以查看到流量是否過去

#在主rocketmq節點上下載一下rocketmq-externals打個jar包,啟動一下,web頁面去看
#自己去玩
#所以你再也不擔心主mq掛了,三主也可以的,只不過名稱以此類推,自己定義,這樣你就完成了簡易的橫向擴展。

rocketmq4.1.0部署及流量切換實踐