debian11 podman搭建rocketmq (初步测试)

  • debian11 podman搭建rocketmq (初步测试)已关闭评论
  • 21 次浏览
  • A+
所属分类:linux技术
摘要

由于个人学习测试需要,想要在debian11环境下,使用podman搭建一个简单的单节点rocketmq,搭建过程比较繁琐,所以记录下来留作后续参考。


前言


由于个人学习测试需要,想要在debian11环境下,使用podman搭建一个简单的单节点rocketmq,搭建过程比较繁琐,所以记录下来留作后续参考。

由于对rocketmq镜像不熟悉,有些配置可能存在错误,会在后续有能力优化时继续更新此文档。

后续可能会补充podman-compose实现方式,目前是shell脚本启动。

正文


1. 准备镜像

# 2024-07-08 latest 版本 5.2.0, rocketmq 主程序,用它启动namesrv 和 broker podman pull docker.io/apache/rocketmq # 2024-07-08 latest,这是一个rocketmq的监控面板,可以通过浏览器页面监控rocketmq内容 podman pull docker.io/styletang/rocketmq-console-ng 

2. 目录分配

. ├── broker │   ├── conf -- 目录 │   │   └── broker.conf │   ├── logs -- 目录 │   ├── run_broker.sh -- 启动脚本 │   └── store ├── console │   └── run_console.sh -- 启动脚本 ├── create_network.sh ├── python -- 测试目录 │   ├── client.py │   └── rocketmq-client-cpp-2.0.0.amd64.deb └── rocketmq     ├── logs -- 目录     ├── run_mq.sh -- 启动脚本     └── store -- 目录 
  1. 配置网络

最好给rocketmq创建一个单独的podman网络
create_network.sh
chmod +x create_network.sh && ./create_network.sh

#!/bin/bash podman network create rocketmq podman network ls # NAME                  VERSION  PLUGINS # podman                0.4.0    ptp,portmap,firewall # rocketmq              0.4.0    bridge,portmap,firewall,tuning 
  1. rocketmq (namesrv)

新建logs和store目录
run_mq.sh
chmod +x run_mq.sh && ./run_mq.sh

#!/bin/bash podman run -itd -p 0.0.0.0:9876:9876 --network rocketmq --name rmqnamesrv          -v /root/rocketMq/rocketmq/logs:/root/logs          -v /root/rocketMq/rocketmq/store:/root/store          docker.io/apache/rocketmq:latest          sh mqnamesrv 

脚本中的/root/rocketMq/rocketmq/logs:/root/logs/root/rocketMq/rocketmq/store:/root/store的配置有点问题,实际上,镜像中的日志和存储目录都在/home/rocketmq 目录下,具体优化还需要再研究下。

调试时,可以将上述命令中的 -itd 改为 -it, 这样就可以不在后台运行容器,直接将容器中的日志打印到终端。

查看后台日志的话:

# 查看全部日志 podman logs -f -t rmqnamesrv # 跟踪查看,从最后一条开始跟踪 # podman logs -f -t --tail 1 rmqnamesrv # 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release # 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release. # 2024-07-08T13:44:16.419453208+08:00 The Name Server boot success. serializeType=JSON, address 0.0.0.0:9876 

端口号

netstat -ant|grep 9876 # tcp        0      0 0.0.0.0:9876            0.0.0.0:*               LISTEN 
  1. broker

新建目录 conf、logs、store

在conf目录下,新建broker.conf,内容如下

# 所属集群名称,如果节点较多可以配置多个 brokerClusterName = DefaultCluster  #broker名称,master和slave使用相同的名称,表明他们的主从关系  brokerName = broker-a  #0表示Master,大于0表示不同的 slave brokerId = 0  #表示几点做消息删除动作,默认是凌晨4点  deleteWhen = 04  #在磁盘上保留消息的时长,单位是小时  fileReservedTime = 48  #有三个值:SYNC_MASTER,ASYNC_MASTER,SLAVE;同步和异步表示Master和Slave之间同步数据的机 制; brokerRole = ASYNC_MASTER  #刷盘策略,取值为:ASYNC_FLUSH,SYNC_FLUSH表示同步刷盘和异步刷盘;SYNC_FLUSH消息写入磁盘后 才返回成功状态,ASYNC_FLUSH不需要; flushDiskType = ASYNC_FLUSH # !!! 这里要改成你的服务器的ip和实际的namesrv端口号 namesrvAddr = 192.168.11.126:9876 # 设置broker节点所在服务器的ip地址 # !!! 这里要改成你的服务器的ip brokerIP1 = 192.168.11.126  #剩余磁盘比例  diskMaxUsedSpaceRatio=99 

run_broker.sh
chmod +x run_broker.sh && ./run_broker.sh

#!/bin/bash podman run -itd --name rmqbroker          --network rocketmq          -p 8080:8080 -p 8081:8081          -p 10911:10911 -p 10912:10912 -p 10909:10909 --privileged=true          -v /root/rocketMq/broker/logs:/root/logs          -v /root/rocketMq/broker/store:/root/store          -v /root/rocketMq/broker/conf/broker.conf:/home/rocketmq/rocketmq-5.2.0/conf/broker.conf          -e "NAMESRV_ADDR=192.168.11.126:9876"          -e "MAX_POSSIBLE_HEAP=200000000"          apache/rocketmq sh mqbroker --enable-proxy -c /home/rocketmq/rocketmq-5.2.0/conf/broker.conf 

注意,-e "NAMESRV_ADDR=192.168.11.126:9876" 这个地方原来是 -e "NAMESRV_ADDR=rmqnamesrv:9876" 后来我发现在我搭建的环境中不太好用,改成了自己的server ip 后,莫名奇妙好用了 qwq

podman logs -f -t --tail 10 rmqbroker # 2024-07-08T14:26:23.082541138+08:00 Mon Jul 08 06:26:23 UTC 2024 rocketmq-proxy startup successfully 
  1. console

run_console.sh
chmod +x run_console.sh && ./run_console.sh

#!/bin/bash podman run -itd -p 10100:8080 --name rmqconsole          --network rocketmq          -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.11.126:9876          -Dcom.rocketmq.sendMessageWithVIPChannel=false"          styletang/rocketmq-console-ng 

因为8080端口已经被broker占用了,所以直接按照参考中的Docker安装RocketMq,用10100端口 映射容器中的 8080

浏览器打开 http://192.168.11.126:10100/ (你服务器的ip:你配置的端口号)

debian11 podman搭建rocketmq (初步测试)

  1. 简单测试

这里,我用python简单测试了一下

首先,需要安装一个python3的库,安装之前需要先准备下前置环境

wget https://github.com/apache/rocketmq-client-cpp/releases/download/2.0.0/rocketmq-client-cpp-2.0.0.amd64.deb sudo dpkg -i rocketmq-client-cpp-2.0.0.amd64.deb 

这个文件我打成了zip包,可以从这里下载:https://files.cnblogs.com/files/brian-sun/rocketmq-client-cpp-2.0.0.amd64.zip?t=1720423076&download=true, 下载到服务器后,用unzip解压,然后 dpkg -i 安装即可

然后安装pip包

pip install rocketmq-client-python 

python3 示例
client.py

# -*- coding:utf-8 -*- from rocketmq.client import Producer, Message, PushConsumer, ConsumeStatus import time  def product_topic():     # 创建生产者     producer = Producer('PID_TEST')     producer.set_name_server_address('0.0.0.0:9876')     producer.start()      # 创建消息     msg = Message('YOUR_TOPIC')     msg.set_keys('YOUR_KEY')     msg.set_tags('YOUR_TAG')     msg.set_body('Hello, RocketMQ!')      # 发送消息     result = producer.send_sync(msg)     print('Send Result: ', result.status, result.msg_id)      # 停止生产者     producer.shutdown()  need_stop=0  # 消费回调函数 def callback(msg):     print('Received message: ', msg.body)     global need_stop     need_stop = 1     return ConsumeStatus.CONSUME_SUCCESS  def consume_topic():          # 创建消费者     consumer = PushConsumer('CID_TEST')     consumer.set_name_server_address('0.0.0.0:9876')     consumer.subscribe('YOUR_TOPIC', callback)     consumer.start()      # 保持消费者运行     global need_stop     while True:         time.sleep(60)  # 保持消费者运行         if need_stop == 1:             break      # 停止消费者     consumer.shutdown()   if __name__ == "__main__":     product_topic()     consume_topic() 

python3 client.py

# Send Result:  SendStatus.OK 7F000101EDB61E27498727597E960000 # Received message:  b'Hello, RocketMQ!' 

参考


[1]. Apache RocketMQ

[2]. Docker安装RocketMq

[3]. https://gitee.com/AI-Mart/rocketmq-client-python

[4]. docker 上部署RocketMQ

[5]. RocketMQ_详细配置与使用详解

附录


chatgpt 介绍rocketmq

Apache RocketMQ 是一个分布式消息中间件,其核心组件包括 NameServer、Broker 和 Proxy。了解这些组件的功能和配置有助于更好地使用 RocketMQ。

NameServer

NameServer 是 RocketMQ 的目录服务,主要负责以下功能:

  1. 管理Topic路由信息:NameServer 存储 Topic 到 Broker 的映射信息。
  2. 心跳检测:Broker 定期向 NameServer 发送心跳包,以维持连接和更新路由信息。
  3. 服务发现:生产者和消费者通过 NameServer 发现 Broker 位置和路由信息。
启动 NameServer

在启动 NameServer 时,可以使用如下命令:

nohup sh mqnamesrv & 

Broker

Broker 是 RocketMQ 的消息存储和传输核心,负责以下功能:

  1. 消息存储:将生产者发送的消息持久化存储。
  2. 消息传输:将存储的消息传递给消费者。
  3. 负载均衡:支持消息的分片存储和消费。

Broker 分为两种角色:

  • Master:主 Broker,负责消息存储和提供读/写服务。
  • Slave:从 Broker,通过同步 Master 的消息存储来提供高可用性,但通常只提供读服务。
配置和启动 Broker

首先,创建 Broker 配置文件 broker.conf

# broker.conf 示例 brokerClusterName=DefaultCluster brokerName=broker-a brokerId=0  # 0 表示 Master,>0 表示 Slave namesrvAddr=127.0.0.1:9876 defaultTopicQueueNums=4 autoCreateTopicEnable=true 

然后,使用以下命令启动 Broker:

nohup sh mqbroker -c path/to/broker.conf & 

Proxy

Proxy(代理)通常用于将 RocketMQ 与其他协议或应用集成。通过 Proxy,可以在不修改客户端代码的情况下将 RocketMQ 集成到现有系统中。

RocketMQ 提供了多种 Proxy 解决方案,例如:

  • HTTP Proxy:支持通过 HTTP 协议与 RocketMQ 进行通信。
  • MQTT Proxy:支持通过 MQTT 协议与 RocketMQ 进行通信。
启动 HTTP Proxy

以下是一个启动 HTTP Proxy 的示例:

  1. 首先,下载并解压 RocketMQ 的 HTTP Proxy 包。
  2. 配置 proxy.conf 文件,内容如下:
# proxy.conf 示例 namesrvAddr=127.0.0.1:9876 listenPort=8080 
  1. 启动 HTTP Proxy:
nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf & 

总结

以下是 RocketMQ 各组件启动的简要步骤:

  1. 启动 NameServer:

    nohup sh mqnamesrv & 
  2. 启动 Broker(创建 broker.conf 并启动):

    nohup sh mqbroker -c path/to/broker.conf & 
  3. 启动 Proxy(以 HTTP Proxy 为例,创建 proxy.conf 并启动):

    nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf & 

通过这些步骤,您可以搭建一个完整的 RocketMQ 服务来支持消息的发布和订阅。根据您的应用需求,您还可以进行更多的配置和优化。