欢迎光临
我的个人博客网站

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 系列文章:

RabbitMQ从零到集群高可用(.NetCore5.0) – RabbitMQ简介和六种工作模式详解

RabbitMQ从零到集群高可用(.NetCore5.0) – 死信队列,延时队列

RabbitMQ从零到集群高可用(.NetCore5.0) – 高可用集群构建落地

 

一、集群架构简介

当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目的。RabbitMQ 集群是一个或多个节点的逻辑分组,集群中的每个节点都是对等的,每个节点共享所有的用户,虚拟主机,队列,交换器,绑定关系,运行时参数和其他分布式状态等信息。一个高可用,负载均衡的 RabbitMQ 集群架构应类似下图:

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 解析说明:

最下面层是RabbitMQ的集群,没有ha镜像时是普通集群,普通集群的缺点是挂了一个机器,以这个机器为根的队列就无法使用了(一个队列的数据只会存在一个节点),无法实现高可用

所以把队列变成镜像队列,这样每个节点都会有一份完整的数据,有节点挂了也不影响使用,实现了高可用,但RabbitMQ集群本身没有实现负载均衡,也就是说对于一个三节点的集群,

每个节点的负载可能都是不相同的。

HAProxy层的作用就是为了实现RabbitMQ集群的负载均衡,但一个节点的话显然也不能高可用,所以需要两个HAProxy实现HaProxy的高可用,但没法实现自动的故障转移,就是HAProxy1挂了,

需要手动把ip地址改成HAProxy2的。

所以需要用到KeepAlived,它通常由一主一备两个节点组成,同一时间内只有主节点会提供对外服务,并同时提供一个虚拟的 IP 地址 (Virtual Internet Protocol Address ,简称 VIP),可以避免暴露真实ip 。 如果主节点故障,那么备份节点会自动接管 VIP 并成为新的主节点 ,直到原有的主节点恢复。

生产环境架构应该为:

机器1:RabbitMQ1,机器2:RabbitMQ2,机器3:RabbitMQ3,机器4:HAProxy+keeplived(主),机器5(HAProxy+keeplived(备)。

这里资源原因只有3台机器,所以搭建架构为:

172.16.2.84(rabbit1) RabbitMQ1,HAProxy+keeplived(主)
172.16.2.85(rabbit2) RabbitMQ2,HAProxy+keeplived(备)
172.16.2.86(rabbit3) RabbitMQ3

 

二、普通集群搭建

1)各个节点分别安装RabbitMQ

这里前面的章节功能使用是用的docker安装,这里集群不用docker,因为docker安装会有很多的映射,很容易扰乱,装有docker的rabbitmq的,需要先把docker停掉。

这里准备了3台机器,172.16.2.84(rabbit1),172.16.2.85(rabbit2),172.16.2.86(rabbit3),为了避免混淆,下面都会用rabbit1,rabbit2,rabbit3称呼。

rabbit1,rabbit2,rabbit3都执行一遍下面的安装。

1.1安装前,先修改hostname,因为rabbitmq集群通讯需要用hostname

rabbit1机器执行

 hostnamectl set-hostname rabbit1 --static

rabbit2机器执行

 hostnamectl set-hostname rabbit2 --static

rabbit3机器执行

 hostnamectl set-hostname rabbit3 --static

rabbit1,rabbit2,rabbit3执行同样操作

#修改hosts,因为rabbitmq通讯要通过hostname vi /etc/hosts

1.2把ip对应hostname添加到后面

172.16.2.84 rabbit1
172.16.2.85 rabbit2
172.16.2.86 rabbit3

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

# 重启网络 systemctl restart network # 重启机器 init 6

 

1.3安装Erlang

#第一步 运行package cloud提供的erlang安装脚本 curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash ​ #第二步 安装erlang yum install erlang ​ #第三步 查看erlang版本号,在命令行直接输入erl erl

1.4安装RabbitMQ

#第一步 先导入两个key rpm --import https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkey rpm --import https://packagecloud.io/gpg.key ​ #第二步 运行package cloud提供的rabbitmq安装脚本 curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bash ​ #第三步 下载rabbit安装文件 wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.9.5/rabbitmq-server-3.9.5-1.el8.noarch.rpm ​ #第四步 rpm --import https://www.rabbitmq.com/rabbitmq-release-signing-key.asc ​ #第五步 rabbitMQ依赖 yum -y install epel-release yum -y install socat ​ #第六步 安装 rpm -ivh rabbitmq-server-3.9.5-1.el8.noarch.rpm ​ #第七步 启用管理平台插件,启用插件后,可以可视化管理RabbitMQ rabbitmq-plugins enable rabbitmq_management ​ #第八步 启动应用 systemctl start rabbitmq-server

上面rabbitmq的版本号安装文件地址:https://github.com/rabbitmq/rabbitmq-server/releases/

1.5设置访问权限

#创建管理员账户 rabbitmqctl add_user admin 123456 #设置注册的账户为管理员 rabbitmqctl set_user_tags admin administrator #授权远程访问 rabbitmqctl set_permissions -p / admin "." "." ".*" #重启服务 systemctl restart rabbitmq-server

注意这里关了防火墙,如果开启防火墙的话,需要把15672端口开放出来

#查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stop firewalld

到这里,3台机器都安装好了RabbitMQ。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 

 

 

 

 

 

2)把节点加入集群

2.1停止服务rabbit2,rabbit3

#停止全部服务 systemctl stop rabbitmq-server

 

2.2拷贝cookie

将rabbit1上的.erlang.cookie文件拷贝到其他两台主机上。该 cookie 文件相当于密钥令牌,集群中的 RabbitMQ 节点需要通过交换密钥令牌以获得相互认证,因此处于同一集群的所有节点需要具有相同的密钥令牌,否则在搭建过程中会出现 Authentication Fail 错误,只要保证这3台机器中的.erlang.cookie内的密钥字符串一致即可,这里把rabbit1的密钥复制到rabbit2,rabbit3。

3个机器都给.erlang.cookie 400权限。

#给600权限 chmod 600 /var/lib/rabbitmq/.erlang.cookie

rabbit1机器

#编辑文件 vi /var/lib/rabbitmq/.erlang.cookie

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 把内容复制出来,修改rabbit2,rabbit3这个文件的值为这个。

启动服务

#开启全部服务 systemctl start rabbitmq-server

 

2.3集群搭建

RabbitMQ 集群的搭建需要选择其中任意一个节点为基准,将其它节点逐步加入。这里我们以 rabbit1为基准节点,将 rabbit2 和 rabbit3 加入集群。在 rabbit2和 rabbit3上执行以下命令:

# 1.停止服务 rabbitmqctl stop_app # 2.重置状态(需要更改节点类型的时候执行,首次不需要执行,除非你节点是以disk加入集群的) rabbitmqctl reset # 3.节点加入 #rabbitmqctl join_cluster --ram rabbit@rabbit1 rabbitmqctl join_cluster rabbit@rabbit1 # 4.启动服务 rabbitmqctl start_app

 

join_cluster 命令有一个可选的参数 ram ,该参数代表新加入的节点是内存节点,默认是磁盘节点。如果是内存节点,则所有的队列、交换器、绑定关系、用户、访问权限和 vhost 的元数据都将存储在内存中,如果是磁盘节点,则存储在磁盘中。内存节点可以有更高的性能,但其重启后所有配置信息都会丢失,因此RabbitMQ 要求在集群中至少有一个磁盘节点,其他节点可以是内存节点,大多数情况下RabbitMQ 的性能都是够用的,可以采用默认的磁盘节点的形式。

另外,如果节点以磁盘节点的形式加入,则需要先使用 reset 命令进行重置,然后才能加入现有群集,重置节点会删除该节点上存在的所有的历史资源和数据。采用内存节点的形式加入时可以略过 reset 这一步,因为内存上的数据本身就不是持久化的。

操作上面的,一个普通集群就搭建成功了,打开rabbit管理界面(随便打开一个都是一样的)。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 

3)代码演示普通集群的问题

普通集群中, 第一次创建队列时,会随机选一个节点作为根节点,这个节点会存储队列的信息(交互机,路由,队列名等)和队列的数据,其它两个节点只会同步根节点的元信息(交换机,路由,队列名)等,

但不会存储队列的数据,他们是通过元信息找到根节点读写消息。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 例如集群选择了rabbit2作为根节点,那么数据存储在rabbit2,rabbit1和rabbit3是没有数据的,那么如果rabbit2宕机了,队列里面的数据就取不到了。

代码演示,.NetCore5.0读取集群连接代码。

     /// <summary>         /// 获取集群连接对象         /// </summary>         /// <returns></returns>         public static IConnection GetClusterConnection()         {             var factory = new ConnectionFactory             {                 UserName = "admin",//账户                 Password = "123456",//密码                 VirtualHost = "/" //虚拟机             };             List<AmqpTcpEndpoint> list = new List<AmqpTcpEndpoint>()             {                 new AmqpTcpEndpoint(){HostName="172.16.2.84",Port=5672},                  new AmqpTcpEndpoint(){HostName="172.16.2.85",Port=5672},                   new AmqpTcpEndpoint(){HostName="172.16.2.86",Port=5672}             };             return factory.CreateConnection(list);         }

生产者代码:

        /// <summary>         /// 工作队列模式         /// </summary>         public static void WorkerSendMsg()         {             string queueName = "worker_order";//队列名             //创建连接             using (var connection = RabbitMQHelper.GetClusterConnection())             {                 //创建信道                 using (var channel = connection.CreateModel())                 {                     //创建队列                     channel.QueueDeclare(queueName, durable: true, exclusive: false, autoDelete: false, arguments: null);                     IBasicProperties properties = channel.CreateBasicProperties();                     properties.Persistent = true; //消息持久化                     for ( var i=0;i<10;i++)                     {                         string message = $"Hello RabbitMQ MessageHello,{i+1}";                         var body = Encoding.UTF8.GetBytes(message);                         //发送消息到rabbitmq                         channel.BasicPublish(exchange: "", routingKey: queueName, mandatory: false, basicProperties: properties, body);                         Console.WriteLine($"发送消息到队列:{queueName},内容:{message}");                     }                 }             }         }

执行:

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 查看RabbitMQ管理界面

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 RabbitMQ选择了rabbit3作为根节点,现在试一下停止rabbit3节点

#停止服务 rabbitmqctl stop_app

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 发现队列不可用了,启动rabbit3,再试一下停止rabbit2

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 

发现队列正常,试下消费数据:

 public static void WorkerConsumer()         {             string queueName = "worker_order";             var connection = RabbitMQHelper.GetClusterConnection();             {                 //创建信道                 var channel = connection.CreateModel();                 {                     //创建队列                     channel.QueueDeclare(queueName, durable: true, exclusive: false, autoDelete: false, arguments: null);                     var consumer = new EventingBasicConsumer(channel);                     ///prefetchCount:1来告知RabbitMQ,不要同时给一个消费者推送多于 N 个消息,也确保了消费速度和性能                     ///global:是否设为全局的                     ///prefetchSize:单条消息大小,通常设0,表示不做限制                     //是autoAck=false才会有效                     channel.BasicQos(prefetchSize: 0, prefetchCount: 1, global: true);                     int i = 1;                     int index = new Random().Next(10);                     consumer.Received += (model, ea) =>                     {                         //处理业务                         var message = Encoding.UTF8.GetString(ea.Body.ToArray());                         Console.WriteLine($"{i},消费者:{index},队列{queueName}消费消息长度:{message.Length}");                         Thread.Sleep(1000);                         channel.BasicAck(ea.DeliveryTag, false); //消息ack确认,告诉mq这条队列处理完,可以从mq删除了                         i++;                     };                     channel.BasicConsume(queueName, autoAck: false, consumer);                 }             }         }

 RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

如果根节点挂了,再往集群发送数据,RabbitMQ又会从其余的选一个作为根节点,就可能的情况是,多个节点都存有不同队列的数据。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

到这里,可以看到普通集群并不可以高可用, 根节点挂了,在这个节点上的队列也不可用了。但三个节点都没问题的时候,可以提高并发和队列的负载。

要实现高可用,就要用到了镜像集群

三、镜像集群

镜像集群,在每个节点上都同步一份镜像数据,相当于每个节点都有一份完整的数据,这样有节点宕机了,还能正常提供RabbitMQ服务。

变镜像集群很简单,在上面普通集群的基础上,在任意一个节点下执行

#把集群变成镜像集群 rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

执行完,看回队列,多了ha标识。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 

 RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

四、HAProxy环境搭建。

4.1下载

HAProxy 官方下载地址为:https://www.haproxy.org/#down ,如果这个网站无法访问,也可以从 https://src.fedoraproject.org/repo/pkgs/haproxy/ 上进行下载。

#下载haproxy wget https://www.haproxy.org/download/2.4/src/haproxy-2.4.3.tar.gz

解压

#解压 tar xf haproxy-2.4.3.tar.gz

4.2编译

安装gcc

yum install gcc

进入解压后根目录,执行下面的编译命令:

#进入haproxy-2.4.3目录后执行 make TARGET=linux-glibc  PREFIX=/usr/app/haproxy-2.4.3 make install PREFIX=/usr/app/haproxy-2.4.3

4.3配置环境变量

#编辑文件 vi /etc/profile

#把这两项加上 export HAPROXY_HOME=/usr/app/haproxy-2.4.3 export PATH=$PATH:$HAPROXY_HOME/sbin

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 使得配置的环境变量立即生效:

source /etc/profile

4.4负载均衡配置

 新建配置文件haproxy.cfg,这里我新建的位置为:/etc/haproxy/haproxy.cfg,文件内容如下:

global     # 日志输出配置、所有日志都记录在本机,通过 local0 进行输出     log 127.0.0.1 local0 info     # 最大连接数     maxconn 4096     # 改变当前的工作目录     chroot /usr/app/haproxy-2.4.3     # 以指定的 UID 运行 haproxy 进程     uid 99     # 以指定的 GID 运行 haproxy 进程     gid 99     # 以守护进行的方式运行     daemon     # 当前进程的 pid 文件存放位置     pidfile /usr/app/haproxy-2.4.3/haproxy.pid ​ # 默认配置 defaults     # 应用全局的日志配置     log global     # 使用4层代理模式,7层代理模式则为"http"     mode tcp     # 日志类别     option tcplog     # 不记录健康检查的日志信息     option dontlognull     # 3次失败则认为服务不可用     retries 3     # 每个进程可用的最大连接数     maxconn 2000     # 连接超时     timeout connect 5s     # 客户端超时     timeout client 120s     # 服务端超时     timeout server 120s ​ # 绑定配置 listen rabbitmq_cluster     bind :5671     # 配置TCP模式     mode tcp     # 采用加权轮询的机制进行负载均衡     balance roundrobin     # RabbitMQ 集群节点配置     server rabbit1 rabbit1:5672 check inter 5000 rise 2 fall 3 weight 1     server rabbit2 rabbit2:5672 check inter 5000 rise 2 fall 3 weight 1     server rabbit3 rabbit3:5672 check inter 5000 rise 2 fall 3 weight 1# 配置监控页面 listen monitor     bind :8100     mode http     option httplog     stats enable     stats uri /stats     stats refresh 5s

上传上去的,记得打开看一下换行符有没有出行这些符号,如果有要删掉,不然会报错。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 

负载均衡的主要配置在 listen rabbitmq_cluster 下,这里指定负载均衡的方式为加权轮询,同时定义好健康检查机制:

 
 server rabbit1 rabbit1:5672 check inter 5000 rise 2 fall 3 weight 1

以上配置代表对地址为 rabbit1:5672 的 rabbit1 节点每隔 5 秒进行一次健康检查,如果连续两次的检查结果都是正常,则认为该节点可用,此时可以将客户端的请求轮询到该节点上;如果连续 3 次的检查结果都不正常,则认为该节点不可用。weight 用于指定节点在轮询过程中的权重。

 

4.5启动服务

haproxy -f /etc/haproxy/haproxy.cfg

启动后可以在监控页面进行查看,端口为设置的 8100,完整地址为:http://172.16.2.84:8100/stats ,页面情况如下:

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 所有节点都为绿色,代表节点健康。此时证明 HAProxy 搭建成功,并已经对 RabbitMQ 集群进行监控。

 

这里已经实现了RabbitMQ的负载均衡了,代码怎么通过Haproxy连接Rabbit集群呢,因为上面配置Haproxy暴露的端口是5671,所以Ip是Haproxy的ip:5671。

连接代码,可以通过haproxy1 或haproxy2都可以:

 public static IConnection GetConnection()         {              ConnectionFactory factory = new ConnectionFactory             {                 HostName = "172.16.2.84",//haproxy ip                 Port = 5671,//haproxy 端口                 UserName = "admin",//账号                 Password = "123456",//密码                 VirtualHost = "/" //虚拟主机             };              return factory.CreateConnection();         }

 

五、KeepAlived 环境搭建

接着就可以搭建 Keepalived 来解决 HAProxy 故障转移的问题。这里我在 rabbit1 和 rabbit2 上安装 KeepAlived ,两台主机上的搭建的步骤完全相同,只是部分配置略有不同,具体如下:

官网:https://www.keepalived.org

 

5.1安装

yum install -y keepalived

5.2修改配置文件

安装了keepalived后,配置文件生成在/etc/keepalived/keepalived.conf

这里先对keepalived1上keepalived.conf配置文件进行修改,完整内容如下:

global_defs {    # 路由id,主备节点不能相同    router_id node1 } ​ # 自定义监控脚本 vrrp_script chk_haproxy {     # 脚本位置     script "/etc/keepalived/haproxy_check.sh"      # 脚本执行的时间间隔     interval 5      weight 10 } ​ vrrp_instance VI_1 {     # Keepalived的角色,MASTER 表示主节点,BACKUP 表示备份节点     state MASTER       # 指定监测的网卡,可以使用 ip addr 进行查看     interface ens33     # 虚拟路由的id,主备节点需要设置为相同     virtual_router_id 1     # 优先级,主节点的优先级需要设置比备份节点高     priority 100      # 设置主备之间的检查时间,单位为秒      advert_int 1      # 定义验证类型和密码     authentication {          auth_type PASS         auth_pass 123456     } ​     # 调用上面自定义的监控脚本     track_script {         chk_haproxy     } ​     virtual_ipaddress {         # 虚拟IP地址,可以设置多个         172.16.2.200       } }

以上配置定义了 keepalived1上的 Keepalived 节点为 MASTER 节点,并设置对外提供服务的虚拟 IP 为 172.16.2.200。此外最主要的是定义了通过 haproxy_check.sh 来对 HAProxy 进行监控,这个脚本需要我们自行创建,内容如下:

#!/bin/bash # 判断haproxy是否已经启动 if [ `ps -C haproxy --no-header | wc -l` -eq 0 ] ; then     #如果没有启动,则启动     haproxy -f /etc/haproxy/haproxy.cfg fi ​ #睡眠3秒以便haproxy完全启动 sleep 3#如果haproxy还是没有启动,此时需要将本机的keepalived服务停掉,以便让VIP自动漂移到另外一台haproxy if [ `ps -C haproxy --no-header | wc -l` -eq 0 ]; then     systemctl stop keepalived fi

创建后为其赋予执行权限:

chmod +x /etc/keepalived/haproxy_check.sh

这个脚本主要用于判断 HAProxy 服务是否正常,如果不正常且无法启动,此时就需要将本机 Keepalived 关闭,从而让虚拟 IP 漂移到备份节点。

备份节点(keepalived2)的配置与主节点基本相同,但是需要修改其 state 为 BACKUP;同时其优先级 priority 需要比主节点低。完整配置如下:

global_defs {    # 路由id,主备节点不能相同        router_id node2   ​ } ​ vrrp_script chk_haproxy {     script "/etc/keepalived/haproxy_check.sh"      interval 5      weight 10 } ​ vrrp_instance VI_1 {     # BACKUP 表示备份节点     state BACKUP      interface ens33     virtual_router_id 1     # 优先级,备份节点要比主节点低     priority 50      advert_int 1      authentication {          auth_type PASS         auth_pass 123456     }          track_script {         chk_haproxy     } ​     virtual_ipaddress {         172.16.2.200       } }

haproxy_check.sh文件和keepalived1相同

5.3启动服务

分别在KeepAlived1和KeepAlived2上启动KeepAlived服务,命令如下:

systemctl start  keepalived

启动后此时 keepAlived1 为主节点,可以在 keepAlived1  上使用 ip a 命令查看到虚拟 IP 的情况:

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 此时只有 keepAlived1 上是存在虚拟 IP 的,而 keepAlived2  上是没有的。

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

 5.4验证故障转移

这里我们验证一下故障转移,因为按照我们上面的检测脚本,如果 HAProxy 已经停止且无法重启时 KeepAlived 服务就会停止,这里我们直接使用以下命令停止 Keepalived1 服务:

systemctl stop keepalived

此时再次使用 ip a 分别查看,可以发现 keepalived1上的 VIP 已经漂移到 keepalived2上,情况如下:

RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

 

 

此时对外服务的 VIP 依然可用,代表已经成功地进行了故障转移。至此集群已经搭建成功,任何需要发送或者接受消息的客户端服务只需要连接到该 VIP 即可,示例如下:

 public static IConnection GetConnection()         {             ConnectionFactory factory = new ConnectionFactory()             {                 HostName = "172.16.2.200",//vip                 Port = 5671,//haproxy 端口                 UserName = "admin",//账号                 Password = "123456",//密码                 VirtualHost = "/" //虚拟主机             };              return factory.CreateConnection();         }

 

赞(0) 打赏
未经允许不得转载:张拓的天空 » RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

专业的IT技术经验分享 更专业 更方便

联系我们本站主机

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏