• • 背景
  • 排查
  • 解決方案
  • 總結
  • 參考

背景

最近在學習RocketMQ,第一步就是安裝部署並啟動RocketMQ.使用最新版本的RocketMQ,版本為4.2.0,安裝後啟動相關服務.
啟動nameServer:

nohup mqnamesrv &

由於broker和nameServer在同一臺機器上,啟動broker:

nohup mqbroker -n localhost:9876 &

接下來執行producer的demo,但是在執行demo的過程中出現了問題,異常堆疊如下:

org.apache.rocketmq.client.exception.MQClientException: Send [3
 
] times, still failed, cost [3004]ms, Topic: MQ-MSG-TOPICS-TEST, BrokersSent: [iZnqntg5t2znd7Z, iZnqntg5t2znd7Z, iZnqntg5t2znd7Z]
See http://rocketmq.apache.org/docs/faq/ for further details.
    at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendDefaultImpl(DefaultMQProducerImpl.java:544
 
)
    at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1069)
    at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1023)
    at org.apache.rocketmq.client.producer.DefaultMQProducer.send(DefaultMQProducer.java:214
 
)
    at core.RocketMQProducer.send(RocketMQProducer.java:44)
    at core.RocketMQProducerTest.main(RocketMQProducerTest.java:20)
Caused by: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <172.18.46.234:10909> failed
    at org.apache.rocketmq.remoting.netty.NettyRemotingClient.invokeSync(NettyRemotingClient.java:388)
    at org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessageSync(MQClientAPIImpl.java:351)
    at org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessage(MQClientAPIImpl.java:335)
    at org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessage(MQClientAPIImpl.java:298)
    at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendKernelImpl(DefaultMQProducerImpl.java:696)
    at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendDefaultImpl(DefaultMQProducerImpl.java:463)
    ... 5 more

現將問題的排查及解決方法記錄如下.

排查

遇到這個問題後,根據異常資訊知道是無法連線到172.18.46.234:10909.那麼這個地址是nameServer的還是broker的呢?
在demo中配置的nameServer地址是阿里雲伺服器的公網地址,而且埠號是預設的9876,因此172.18.46.234:10909是broker的地址,即producer嘗試連線broker時失敗.
後來發現172.18.46.234是我的阿里雲伺服器的內網地址,我們回憶下RocketMQ的工作流程:

1. 啟動nameServer
2. broker啟動時使用-n localhost:9876指定nameServer,將自己的IP地址註冊到nameServer
3. producer首先連線nameServer,獲取可用的broker地址
4. producer根據從nameServer獲取的broker地址,將資訊傳送給broker

因此錯誤的原因是broker將自己內網地址傳送給了nameServer,producer從nameServer獲取的是broker的內網IP地址,自然無法連線broker.

解決方案

由上可知,只要broker將自己的外網地址註冊到nameServer即可,查閱資料發現,broker註冊到nameServer的地址可以使用引數配置,引數為brokerIP1和brokerIP2(個人推測這兩個IP應該一個是普通channel,一個是vip channel),但是如何在broker啟動時設定這兩個引數呢?

檢視RocketMQ中org.apache.rocketmq.broker.BrokerStartup原始碼可知,broker啟動選項如下:

備註:

1. 若選項需要引數,則引數是否可選為否時表示該選項後必須跟一個引數
2. 若選項無需引數,則引數是否可選無意義

由上可知,啟動broker時共有5個選項,比較常用的是-n和-c,-n用於指定nameServer的IP地址及埠號,-c用於指定配置檔案,同時nameServer的IP地址及埠號也可用nameSrvAddr在配置檔案中設定,這樣啟動broker時就不用使用選項指定nameServer了.
RocketMQ在$ROCKETMQ_HOME/conf下提供了幾個預設的配置檔案,如2m-2s-async資料夾中提供了4個配置檔案,分別是2個master和2個slave,且master和slave使用非同步方式同步資料;而broker.conf提供了叢集中只有一個master,無slave的配置檔案,在配置檔案中新增brokerIP1,brokerIP2,nameSrvAddr屬性,內容如下:

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
# brokerIP1和brokerIP2預設獲取本地ip地址,在雲伺服器上會獲取內網ip地址,因此必須顯式設定
brokerIP1=*.*.*.*
brokerIP2=*.*.*.*
# 將namesrvAddr設定在configfile中
namesrvAddr=localhost:9876     

其中brokerIP1和brokerIP2修改為自己雲伺服器的外網地址.
啟動broker(假設當前工作目錄為$ROCKETMQ_HOME/bin):

nohup mqbroker -c ../conf/broker.conf &

再次執行demo,即可成功向broker傳送訊息.

總結

broker向nameServer註冊的地址是brokerIP1,brokerIP2,

    @ImportantField
    private String brokerIP1 = RemotingUtil.getLocalAddress();
    private String brokerIP2 = RemotingUtil.getLocalAddress();

在阿里雲伺服器上獲取的是內網IP地址,因此producer從nameServer獲取的broker地址是broker的內網IP地址,無法向broker傳送訊息.
可以通過-c指定broker啟動時的配置檔案,在配置檔案中新增brokerIP1和brokerIP2屬性,其值為阿里雲伺服器的外網IP地址,即可解決上述問題.
除此之外,RocketMQ還提供了-h,-p,-m用於列印幫助,列印配置項和列印重要配置項供使用者參考.
還可將nameServer的地址通過nameSrvAddr屬性寫在配置檔案中,這樣啟動時就無需通過-n設定nameServer地址.

參考