Rootop 服务器运维与web架构

rocketmq主从

rocketmq下载页面:http://rocketmq.apache.org/dowloading/releases/
本次搭建用的版本:https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip

2台机器centos7.x
node2 192.168.0.15 主
node3 192.168.0.10 从

各解压到 /home/software/rocketmq

# 2台机器各正常启动 mqnamesrv 服务(9876端口)

[root@node2 bin]# ./mqnamesrv &
[root@node3 bin]# ./mqnamesrv &

# broker master配置文件(192.168.0.15)

[root@node2 conf]# cat broker.conf 
namesrvAddr=192.168.0.15:9876;192.168.0.10:9876

# 多网卡时指定
brokerIP1=192.168.0.15

brokerClusterName = rootopCluster

# brokerName相同则表示broker开启master slave
brokerName = broker-a

# brokerId,0表示master,非0表示slave
brokerId = 0

deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# 修改 store 生成目录,否则会在用户家目录创建
storePathRootDir = /home/software/rocketmq/store
storePathCommitLog = /home/software/rocketmq/store/commitlog
diskMaxUsedSpaceRatio = 90

#发送消息的最大线程数
sendMessageThreadPoolNums: 200

#发送消息是否使用可重入锁
useReentrantLockWhenPutMessage: true

# 修改生成的 logs 目录,否则会在用户家目录创建

[root@node2 conf]# sed -i 's#\${user.home}#/home/software/rocketmq#g' logback_broker.xml 
[root@node2 conf]# sed -i 's#\${user.home}#/home/software/rocketmq#g' logback_tools.xml
[root@node2 conf]# sed -i 's#\${user.home}#/home/software/rocketmq#g' logback_namesrv.xml

# 修改 runserver.sh、runbroker.sh 启动脚本默认内存参数,否则启动可能提示无法分配内存(机器内存大的话忽略)

[root@node2 bin]# sed -i 's/-Xms4g -Xmx4g -Xmn2g/-Xms2g -Xmx2g -Xmn1g/g' runserver.sh
[root@node2 bin]# sed -i 's/-Xms8g -Xmx8g -Xmn4g/-Xms2g -Xmx2g -Xmn1g/g' runbroker.sh

# 启动broker

[root@node2 bin]# ./mqbroker -c /home/software/rocketmq/conf/broker.conf &

# 查看端口状态,mqnamesrv占用9876端口

[root@node2 bin]# netstat -tnlp | grep java
tcp6       0      0 :::10909                :::*                    LISTEN      20372/java          
tcp6       0      0 :::10911                :::*                    LISTEN      20372/java          
tcp6       0      0 :::10912                :::*                    LISTEN      20372/java          
tcp6       0      0 :::9876                 :::*                    LISTEN      20335/java 

10909 监听端口值 listenPort – 2,即默认为10909
10911 监听 listenPort 配置项指定的监听端口,默认10911
10912 监听端口为值为listenPort+1,即10912,该端口用于Broker的主从同步

# node3配置,broker slave配置文件(192.168.0.10)

[root@node3 conf]# cat broker.conf 
namesrvAddr=192.168.0.15:9876;192.168.0.10:9876
brokerIP1=192.168.0.10
brokerClusterName = rootopCluster
brokerName = broker-a
brokerId = 1
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH

# 启动从broker

[root@node3 bin]# ./mqbroker -c /home/software/rocketmq/conf/broker.conf &

# mq web控制台管理服务,并解决 rocketmq-console-ng报错:exception.ServiceException: This date have’t data!,原因是时区不对

[root@node3 ~]# docker run -dit --name mqconsole -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.0.10:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Duser.timezone='Asia/Shanghai'" -p 8080:8080 -v /etc/localtime:/etc/localtime styletang/rocketmq-console-ng

# 关闭服务

[root@node2 bin]# ./mqshutdown namesrv
[root@node2 bin]# ./mqshutdown broker

# 百度的资料
https://blog.csdn.net/ever223/java/article/details/100547232

在开发中,经常使用到各种消息中间件,用于系统间的数据交换与异步解耦。常用的消息中间件有Kafka、RabbitMQ、RocketMQ。
不同的消息中间件在原理及使用上都有着自身的特点,比如Kafka和RocketMQ在协调点选择上就存在着很大的差异,Kafka是通过Zookeeper来进行协调,而RocketMQ通过自身的NameServer进行协调。
Kafka使用Zookeeper作为协调服务,故具备选举功能。选举主要分为两步:
1. Kafka先通过Zookeeper选举出Controller;
2. 再通过选举出的Controller,选出每个Partition的Leader副本和Follower副本。由于Kafka具备选举功能,所以某个Partition的Leader挂了,该Partition对应的某个Follower就会升级为Leader对外提供服务。
RocketMQ不具备选举
NameServer,很多时候称为命名发现服务,其在RocketMQ中起着中转承接的作用,是一个无状态的服务,多个NameServer之间不通信。
任何Producer、Consumer、Broker与所有NameServer通信,向NameServer请求或者发送数据。而且都是单向的,Producer和Consumer请求数据,Broker发送数据。正是因为这种单向的通信,RocketMQ水平扩容变得很容易。

NameServer是一个几乎无状态节点,可集群部署,节点之间无任何信息同步。MetaQ 1.x和MetaQ 2.x是依赖ZooKeeper的,由于ZooKeeper功能过重,RocketMQ(即MetaQ 3.x)去掉了对ZooKeeper依赖,采用自己的NameServer。
Broker部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slave,但是一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接,定时注册Topic信息到所有NameServer。
Producer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Producer完全无状态,可集群部署。
Consumer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。

原创文章,转载请注明。本文链接地址: https://www.rootop.org/pages/4927.html

作者:Venus

服务器运维与性能优化

评论已关闭。