rocketmq集群安装配置说明-程序员宅基地

技术标签： python  awk  shell  

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

本文采用多master+slave+nameservers的集群配置方式。

一、前提

1. 安装好JDK。JDK版本为1.6+ 64bit

2. 将alibaba-rocketmq-3.2.2.tar.gz上传到linux服务器。（现放到/opt/目录下）

     rocketmq下载地址：https://github.com/alibaba/RocketMQ/releases

     rocketmq github:      https://github.com/alibaba/RocketMQ

   1.赋权和解压源文件

>cd /opt/
>chmod 755 alibaba-rocketmq- 3.2 . 2 .tar.gz
>tar -zxvf ./alibaba-rocketmq- 3.2 . 2 .tar.gz

   2.增加系统环境变量ROCKETMQ_HOME：

> vi /etc/profile

     添加：

ROCKETMQ_HOME=/opt/alibaba-rocketmq
export ROCKETMQ_HOME

   3.使配置立即生效：

> source /etc/profile
##可以将$ROCKETMQ_HOME/bin加入到$PATH中，这样可以直接使用roketmq的bin目录程序

   4.增加系统启动后自动启动：

> vi /etc/rc
##(以下为启动nameserver节点和启动broker节点，视生产环境添加启动规则)
##启动nameserver节点
##/opt/alibaba-rocketmq/local/start_nameserver.sh
##启动broker节点
##/opt/alibaba-rocketmq/local/start_broker.sh

 

二、Rocketmq配置

 1.默认没有local目录，在$ROCKETMQ_HOME下新一个local目录用于创建启动nameserver和broker节点管理。

  

> mkdir $ROCKETMQ_HOME /local ; cd $ROCKETMQ_HOME /local
> touch start_nameserver.sh
 
#!/bin/sh
#ROCKETMQ_HOME最好重新指定，以免出错
#JAVA_HOME重新指定，用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqnamesrv > ${console日志输出} 2>&1 &
#可以使用mqnamesrc -p >namesrc.p取到默认配置文件，后续使用
#./mqnamesrv -c namesrv.p加载配置（这样可以修改namesrv的端口号，注意所有配置文#件格式为utf8最好。windows shell >出来的有问题）
nohup $ROCKETMQ_HOME /bin/mqnamesrv -c $ROCKETMQ_HOME /bin/namesrv .properties >$ROCKETMQ_HOME /log/mqnamesrv .log 2>&1 &
> touch start_borker.sh
#!/bin/sh
#ROCKETMQ_HOME最好重新指定，以免出错
#JAVA_HOME重新指定，用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqbroker [-n ${nameserver地址}] -c ${broker的配置文件} > ${console日志输出} 2>&1 &
nohup $ROCKETMQ_HOME /bin/mqbroker -c $ROCKETMQ_HOME /bin/broker .properties >$ROCKETMQ_HOME /log/mqbroker .log 2>&1 &
> touch stop_nameserver.sh
#!/bin/sh
#注释为杀进程方式关闭服务
#ps -ef |grep '../bin/mqnamesrv' |awk '{if($8!="'grep'") {print $2;exit}}'  |while read pid
#        do
#                kill $pid
#        done
$ROCKETMQ_HOME /bin/mqshutdown namesrv
> touch stop_borker.sh
#!/bin/sh
$ROCKETMQ_HOME /bin/mqshutdown broker

注意ROCKETMQ_HOME地址、nameserver地址更改、broker的配置文件地址

2.修改namesrv和broker的配置：

  修改namesrv配置：

> cd $$ROCKETMQ_HOME /bin
>. /mqnamesrv -p > namesrv.properties
#可以通过./namesrv.properties修改namesrv的端口号
#启动时按./mqnamesrv -c ./namesrv.properties 启动加载配置

  修改borker配置：

> cd $ROCKETMQ_HOME /bin
>broker -m broker.properties
# (当没有时可以使用此命令创建；此文件其实是.properties的文件。可以按.properties规则修改文件内容)

   cat broker.p显示以下内容：

namesrvAddr=192.168.45.214:9876
brokerIP1=192.168.45.214
brokerName=ROCKETMQAH
brokerClusterName=DefaultCluster
brokerId=0
autoCreateTopicEnable= true
autoCreateSubscriptionGroup= true
rejectTransactionMessage= false
fetchNamesrvAddrByAddressServer= false
storePathRootDir= /opt/alibaba-rocketmq/store
storePathCommitLog= /opt/alibaba-rocketmq/store/commitlog
storePathConsumeQueue= /opt/alibaba-rocketmq/consumequeue
storePathIndex= /opt/alibaba-rocketmq/index
storeCheckpoint= /opt/alibaba-rocketmq/checkpoint
abortFile= /opt/alibaba-rocketmq/abort
flushIntervalCommitLog=1000
flushCommitLogTimed= false
deleteWhen=04
fileReservedTime=72
maxTransferBytesOnMessageInMemory=262144
maxTransferCountOnMessageInMemory=32
maxTransferBytesOnMessageInDisk=65536
maxTransferCountOnMessageInDisk=8
accessMessageInMemoryMaxRatio=40
messageIndexEnable= true
messageIndexSafe= true
haMasterAddress=
brokerRole=ASYNC_MASTER
flushDiskType=SYNC_FLUSH
cleanFileForciblyEnable= false

   说明：

   1.namesrvAddr的地址，可以使用broker -n xxx.xxx.xxx.xxx方式指定。

   2.listenPort=10911（默认为10911）可以指定broker的服务开放地址。

   3.几个文件保存的地方需要重新指定，默认保存到use_dir下

   4.brokerName表示集群master组名称，同一个master+slave共用相同的brokerName。

   5.brokerClusterName 建议配置为同一个名称。

   6.brokerId为0时表示的master;大于0时表示slave;

   7.brokerRole 有ASYNC_MASTER异步master；SYNC_MASTER表示同步master；SLAVE表示slave

   8:flushDiskType表示producer到broker的处理方式：SYNC_FLUSH表示同步到文件后返回成功；ASYNC_FLUSH表示broker接收到后立即返回生产者成功，后续再同步到文件中

   9:cleanFileForciblyEnable 表示磁盘满后处理方式：true表示满后删除接收的文件。False表示立即停止服务。

   broke.p的详细配置可以参考《RocketMQ Developer Guide.pdf》中的broker使用指南 的说明。

3.修改日志配置：

   1.进行入$ROCKETMQ_HOME/conf目录下，将logback_*.xml 的所有xml文件的${user.home}改为${ ROCKETMQ_HOME}。


三、集群配置要修改说明

   一、nameserver集群配置说明：

        多个nameserver的配置：

  • 在另一台主机启动一个./start_nameserver.sh 这个不用修改

  • 修改所有的borker的启动方式(配置了一个改为两个nameserver情况)，vi ./start_borker.sh 改 -n 192.168.45.214:9876 为-n ‘192.168.45.214:9876;192.168.56.46:9876’

  • 所有的客户端程序（即producer，consumer） xxxx..setNamesrvAddr("192.168.45.214:9876;192.168.56.46:9876");

   二、borker节点结群说明：

   1.查看并修改nameserver节点配置

    完成（一、前提）的情况下，修改$ROCKETMQ_HOME/local 下的start_nameserver.sh 的$ROCKETMQ_HOME内容。

> cd $$ROCKETMQ_HOME /local
> vi start_nameserver.sh
#修改$ROCKETMQ_HOME，修改为当前的rocketmq地址，如果没有变化不用做修改

   管理nameserver节点：启动./start_nameserver.sh 停止./stop_nameserver.sh

   2.查看并修改broker_master节点配置：

  修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  •   修改brokerIP1 为本机IP；

  •   brokerName 为定义的master组名称；

  •   brokerId 填0；

  •   brokerRole 选择MASTER相关选项；

  •   flushDiskType值选择borker回复方式；

  启用./start_broker.sh 停止./stop_broker.sh

    3.修改和配置broker_slave节点：

     1.完成前提的情况下，修改$ROCKETMQ_HOME/local 下的start_broker.sh 的$ROCKETMQ_HOME内容和${nameserver地址}；。

     2.修改broker.p文件（broker.p使用附件中的broker.p内容为基础）：

  • 修改brokerIP1 为本机IP,

  • brokerName 为定义的master组名称

  • brokerId 填大于0

  • brokerRole 选择SLAVE

  • flushDiskType值选择borker回复方式

     启用./start_broker.sh 停止./stop_broker.sh

四、客户端开发

          Producer，consumer在初始化时配置参考《RocketMQ Developer Guide.pdf》中的客户端 API 形式。

          注意consumer返回时:

           ConsumeConcurrentlyStatus.CONSUME_SUCCESS;--表示消费成功

           ConsumeConcurrentlyStatus.RECONSUME_LATER;--表示处理失败，并后面请broker过一定时间后再次下发。

           consumer.setMessageModel(MessageModel.BROADCASTING);--表示广播消费，也就是每个master都要撸一次。默认是MessageModel.CLUSTERING 这个《RocketMQ Developer Guide.pdf》写错了，表集群处理模式，一个请求只被一个master节点处理一次，要以自个测试结果为准。后续最好看下源码。

五、监控程序rocketmq_console和集群验证

监控为一个外置war文件，下载地址为：

    https://github.com/rocketmq/rocketmq-console.git

  • 使用MAVEN进行编译（附件中有编好的war包）

  • 下载后，需修改：src/main/resources/config.properties：

              Rocketmq.namesrv.addr内容，指向nameserver地址

      集群配置完成后，使用rockertmq_console访问和验证：

     分别启动一个consumer和producer 处理空业务，并查看rocketmq_console的 http://localhost:8080/rocketmq-console/cluster/list.do 显示情况

     以下为只有一个master+slave；多个master组合时，会出现多个这样的表格内容。

 

   1.查看http://localhost:8080/rocketmq-console/cluster/list.do节点情况（主要查看是否以master+slave为组的，一组一组的列表显示；注意#Broker_name是否为borker.p配置的地址和端口号（目前rocketmq在配置失效后，会使用默认的配置，所以需要查下是否配置正确））

六、问题说明

          本文档采用的是，多nameserver+master+slave(一个master只有一个slave，没有必要多个slave)。

          1.master停掉后不切到slave进行处理。

            首先slave只处理consumer的内容，即只负责发内容到consumer。当master停止后，这个master+slave的组合并不能再接收producer的任务。只能将自个没有处理完成的处理掉。这时producter的任务会分配给其它master节点进行处理。

          2.$ROCKETMQ_HOME/bin下面的exe不能执行：

             bin里面的exe程序，是用64位编译的，exe程序不支持32位的系统；jdk也最好是64位的。

          4.为什么broker broker.p 地址不能生效

             window shell 执行mqbroker -m > broker.p生成的文件编码有问题。java后面解析不出来。生成的配置文件最好为utf-8文件。

          5.后面遇到再说明：

七、附件

RocketMQ Developer Guide.pdf

rocketmq_ext.zip   (local目录文件和配置文件及conf修改)

rocketmq-console.war console客户端

       

八、参考文档

       《RocketMQ Developer Guide.pdf》

转载于:https://my.oschina.net/yifanxiang/blog/357280
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34082177/article/details/92535333

智能推荐

hive启动beeline报错

出现上面的问题执行以下代码。

【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]

DataGrip是由JetBrains公司推出的数据库管理软件，DataGrip支持几乎所有主流的关系数据库产品，如DB2、Derby、MySQL、Oracle、SQL Server等，也支持几乎所有主流的大数据生态圈SQL软件，并且提供了简单易用的界面，开发者上手几乎不会遇到任何困难。3、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。5、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。

java lambda无法使用_java – 为什么不允许lambda函数？-程序员宅基地

文章浏览阅读1.2k次。我一直在Vaadin的GUI中工作,有一些来自我的IT主管的课程.这一切都很棒,但是,今天,我遇到过我不能在addListener方法类型中使用lambda表达式.此方法是自定义的,作为使用它的对象.这是实施：public class ResetButtonForTextField extends AbstractExtension {private final List listeners= n..._java: -source 1.5 中不支持 lambda 表达式

W的图像处理之圆检测（3）一圆形标记点精定位算法_圆形黑白块标记点识别-程序员宅基地

文章浏览阅读1.9k次，点赞2次，收藏4次。圆形标记点精定位算法：标记点精定位模块采用边缘特征拟合的方法。首先进行边缘检测，然后提取标记点边缘像素，最后采用最小二乘拟合法，得到标记点的圆心的精确坐标..._圆形黑白块标记点识别

起重机械PLC自动化控制系统_起重机plc控制系统-程序员宅基地

文章浏览阅读75次。模型库和底层数据的感知共同构成了调度情境，通过对生产任务和调度情境的匹配和知识推理，形成相应的调度方案，并由此得到需要调用的资源，算法库依次生成对应的指令代码和调度方案，来驱动设备的运行。在设备实时运行的过程中，由反馈设备接收相应的反馈数据，并与仿真结果进行交互。如图2所示，无人天车传感器除了包含传统天车的舱门开关、大车限位、小车限位、主钩重锤开关、主钩急停开关等传感器外，还包括大车X轴位置传感器、小车Y轴传感器、主钩高度Z轴传感器、主钩称重传感器、天车间防撞传感器、摆角检测传感器等特殊功能的传感器。_起重机plc控制系统

【C语言复习（二）】struct 与 union 的分析_c语言中的struct和union关键字都是什么含义,寄存器结构体的参考实现为什么把部分s-程序员宅基地

文章浏览阅读1.2k次。C语言中，struct 与 union 关键字都是用来定义用户自己的数据类型，struct用来定义结构体，union用来定义共用体；一个结构体所占用的内存空间等于它的成员所占空间的总和；一个共用体所占内存空间等于它的成员中占用空间最大的成员所占的空间大小，同一时刻，只能有一个成员出于有效状态！ 1、struct（1）、思考：一个空的结构体，占用多大内存空间？？如下示例：#inc_c语言中的struct和union关键字都是什么含义,寄存器结构体的参考实现为什么把部分s

随便推点

自己搭建 Linux 服务器踩坑记录_建立服务器踩过的坑-程序员宅基地

文章浏览阅读149次。前言妈蛋，自己搭建一个Linux服务器居然能遇到这么多坑。特此整理下，方便下次遇到同样的错误时能够回过头来快速定位问题并解决问题Number 1，服务器重启之后，Xshell 连接不上注：在服务器重启之前，我只安装了 jdk ,配置了 /etc/profile 环境变量,我一直以为是这个原因，后面把jdk 配置注释掉也没用正确的方向应该是先查看 ssh 服务有没有启动键入命令systemctl status sshd.service如果你的显示跟红框一样 【dead..._建立服务器踩过的坑

MT4606-VB_MOSFET产品应用与参数解析-程序员宅基地

文章浏览阅读187次。通过控制20Vgs (±V)的门源电压，可以实现开关管的导通和截止，实现对电流的控制和开关状态的转换。MT4606详细参数说明 - 极性 N+P沟道- 额定电压 ±30V- 额定电流 9A (N沟道), -6A (P沟道)- 导通电阻 15mΩ @ 10V (N沟道), 42mΩ @ 10V (P沟道), 19mΩ @ 4.5V (N沟道), 50mΩ @ 4.5V (P沟道)- 门源电压 20Vgs (±V)- 阈值电压 ±1.65Vth (V)- 封装类型 SOP8。_mt4606

达梦启云平台中，部署使用HIVE笔记_达梦sql中hiveing-程序员宅基地

文章浏览阅读637次。启云平台部署hive_达梦sql中hiveing

算法-前缀和与差分-程序员宅基地

文章浏览阅读606次，点赞27次，收藏14次。那么就可以把 preSum 的公式统一为，此时的 preSum[i] 表示 nums 中 iii 元素左边所有元素之和（不包含当前元素 iii）。​下面以 [1, 12, -5, -6, 50, 3] 为例，用动图讲解一下如何求 preSum。

POJ2018 Best Cow Fences-程序员宅基地

文章浏览阅读74次。我对二分的理解：https://www.cnblogs.com/AKMer/p/9737477.html题目传送门：http://poj.org/problem?id=2018我们二分一个平均数，设\(a\)数组每个数减去平均数为\(b\)数组，若\(b\)数组当中存在某一段长度大于\(k\)并且这一段权值和大于\(0\)，那么说明最终平均值肯定大于我们当前二分的平均值。那么怎么求..._poj 2018 best cow fences

nginx 504 proxy_read_timeout_proxy_read_timeout 504-程序员宅基地

文章浏览阅读3.7k次。nginx中proxy_read_timeout的值调的比较小，会出现504_proxy_read_timeout 504

推荐文章

热门文章

相关标签