RocketMQ集群部署方式總結

1 RocketMQ網絡部署圖

RocketMQ網絡部署圖如下圖所示：

1.1 RocketMQ網絡部署特點：

• NameServer是一個幾乎無狀態節點，可集群部署，節點之間無任何信息同步。
• Broker部署相對復雜，Broker分為Master與Slave，一個Master可以對應多個Slave，但是一個Slave只能對應一個Master，Master與Slave的對應關系通過指定相同的BrokerName，不同的BrokerId來定義，BrokerId為0表示Master，非0表示Slave。Master也可以部署多個。每個Broker與NameServer集群中的所有節點建立長連接，定時注冊Topic信息到所有 NameServer。
• Producer與NameServer集群中的其中一個節點（隨機選擇）建立長連接，定期從Name Server取Topic路由信息，并向提供Topic服務的Master建立長連接，且定時向Master發送心跳。Producer完全無狀態，可集群部署。
• Consumer與NameServer集群中的其中一個節點（隨機選擇）建立長連接，定期從Name Server取Topic路由信息，并向提供Topic服務的Master、Slave建立長連接，且定時向Master、Slave發送心跳。Consumer既可以從Master訂閱消息，也可以從Slave訂閱消息，訂閱規則由Broker配置決定。

2 NameServer集群

NameServer集群如下：

分別啟動

nohup sh mqnamesrv &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/namesrv.log

3 RocketMQ配置文件

眾所周知，RocketMQ有多種集群部署方式，它們的配置文件也是分開的，如下：

[root@rocketmq01 conf]# ls -rlt /usr/local/rocketmq/conf
total 32
-rw-r--r-- 1 root root   949 Sep 19  2017 broker.conf
drwxr-xr-x 2 root root    60 Sep 19  2017 2m-noslave
drwxr-xr-x 2 root root   118 Sep 19  2017 2m-2s-sync
drwxr-xr-x 2 root root   118 Sep 19  2017 2m-2s-async
-rw-r--r-- 1 root root  3720 Apr 21 07:56 logback_namesrv.xml
-rw-r--r-- 1 root root  3718 Apr 21 07:56 logback_filtersrv.xml
-rw-r--r-- 1 root root 15146 Apr 21 07:56 logback_broker.xml
-rw-r--r-- 1 root root  3789 Apr 21 07:56 logback_tools.xml

說明：

• 2m-noslave： 多Master模式
• 2m-2s-sync： 多Master多Slave模式，同步雙寫
• 2m-2s-async：多Master多Slave模式，異步復制

RocketMQ默認提供的配置文件都是最基本的，很多配置都是默認值，在生產環境中我們需要根據實際情況進行修改。樣例配置如下：

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置文件填寫的不一樣
brokerName=broker-a|broker-b
#0表示Master，>0表示Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=192.168.1.101:9876;192.168.1.102:9876
#在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/alibaba-rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/alibaba-rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/alibaba-rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/alibaba-rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/alibaba-rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/alibaba-rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

4 Broker集群部署

Broker集群部署有幾種不同的方式。這里的Slave不可寫，但可讀，類似于MySQL的主備方式。

4.1 單個Master

這種方式風險較大，一旦Broker重啟或者宕機時，會導致整個服務不可用，不建議線上環境使用

4.2 多Master模式

一個集群無Slave，全是Master，例如2個Master或者3個Master。

優點：
配置簡單，單個Master宕機或重啟維護對應用無影響，在磁盤配置為RAID10時，即使機器宕機不可恢復情況下，由于RAID10磁盤非常可靠，消息也不會丟失（異步刷盤丟失少量消息，同步刷盤一條不丟）。性能最高。

缺點：
單臺機器宕機期間，這臺機器上未被消費的消息在機器恢復之前不可訂閱，消息實時性會受到影響。

啟動步驟：
第一步：先啟動NameServer集群

第二步：在192.168.1.101，啟動第一個Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第三步：在192.168.1.102，啟動第二個Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

4.3 多Master多Slave模式，異步復制

每個Master配置一個Slave，有多對Master-Slave，HA采用異步復制方式，主備有短暫消息延遲，毫秒級。

優點：即使磁盤損壞，消息丟失的非常少，且消息實時性不會受影響，因為Master 宕機后，消費者仍然可以從Slave消費，此過程對應用透明。不需要人工干預。性能同多 Master 模式幾乎一樣。

缺點：Master宕機，磁盤損壞情況，會丟失少量消息。

啟動步驟
第一步：先啟動NameServer集群

第二步：在192.168.1.101，啟動第一個Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第三步：在192.168.1.102，啟動第一個Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第四步：在192.168.1.103，啟動第二個Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第五步：在機器 192.168.1.104，啟動第二個Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &

4.4 多Master多Slave模式，同步雙寫

優點：數據與服務都無單點，Master宕機情況下，消息無延遲，服務可用性與數據可用性都非常高。

缺點：性能比異步復制模式略低，大約低10%左右，發送單個消息的RT會略高。目前主宕機后，備機不能自動切換為主機，后續會支持自動切換功能。

啟動步驟：
第一步：先啟動NameServer集群

第二步：在192.168.1.101，啟動第一個Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第三步：在192.168.1.102，啟動第一個Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第四步：在192.168.1.103，啟動第二個Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第五步：在192.168.1.104，啟動第二個Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

注意事項：以上Broker與Slave配對是通過指定相同的brokerName參數來配對，Master的 BrokerId必須是0，Slave的BrokerId必須是大于0的數。另外一個Master下面可以掛載多個Slave，同一Master下的多個Slave 通過指定不同的BrokerId來區分。

4.5 總結

1、異步復制和同步雙寫總結

2、集群方式對比

5 高可用演練場景

RocketMQ高可用演練場景

下面的是我的公眾號二維碼，歡迎關注。文章轉載請注明出處www.leexide.com