如何优雅的使用RabbitMQ

简介:

RabbitMQ无疑是目前最流行的消息队列之一,对各种语言环境的支持也很丰富,作为一个.NET developer有必要学习和了解这一工具。消息队列的使用场景大概有3种:

1、系统集成,分布式系统的设计。各种子系统通过消息来对接,这种解决方案也逐步发展成一种架构风格,即“通过消息传递的架构”。

2、当系统中的同步处理方式严重影响了吞吐量,比如日志记录。假如需要记录系统中所有的用户行为日志,如果通过同步的方式记录日志势必会影响系统的响应速度,当我们将日志消息发送到消息队列,记录日志的子系统就会通过异步的方式去消费日志消息。

3、系统的高可用性,比如电商的秒杀场景。当某一时刻应用服务器或数据库服务器收到大量请求,将会出现系统宕机。如果能够将请求转发到消息队列,再由服务器去消费这些消息将会使得请求变得平稳,提高系统的可用性。

一、开始使用RabbitMQ

RabbitMQ官网提供了详细的安装步骤,另外官网还提供了RabbitMQ在六种场景的使用教程。其中教程1、3、6将覆盖99%的使用场景,所以正常来说只需要搞清楚这3个教程即可快速上手。

二、简单分析

我们以官方提供的教程1做个简单梳理:该教程展示了Producer如何向一个消息队列(message queue)发送一个消息(message),消息消费者(Consumer)收到该消息后消费该消息。

1、producer端:

 
  1. var factory = new ConnectionFactory() { HostName = "localhost" }; 
  2.  using (var connection = factory.CreateConnection()) 
  3.  { 
  4.      while (Console.ReadLine() != null
  5.      { 
  6.          using (var channel = connection.CreateModel()) 
  7.          { 
  8.              //创建一个名叫"hello"的消息队列 
  9.              channel.QueueDeclare(queue: "hello"
  10.                  durable: false
  11.                  exclusive: false
  12.                  autoDelete: false
  13.                  arguments: null); 
  14.   
  15.              var message = "Hello World!"
  16.              var body = Encoding.UTF8.GetBytes(message); 
  17.   
  18.              //向该消息队列发送消息message 
  19.              channel.BasicPublish(exchange: ""
  20.                  routingKey: "hello"
  21.                  basicProperties: null
  22.                  body: body); 
  23.              Console.WriteLine(" [x] Sent {0}", message); 
  24.          } 
  25.      } 
  26.  } 

该段代码非常简单,几乎到了无法精简的地步:创建了一个信道(channel)->创建一个队列->向该队列发送消息。

2、Consumer端:

 
  1. var factory = new ConnectionFactory() { HostName = "localhost" }; 
  2.  using (var connection = factory.CreateConnection()) 
  3.  { 
  4.      using (var channel = connection.CreateModel()) 
  5.      { 
  6.          //创建一个名为"hello"的队列,防止producer端没有创建该队列 
  7.          channel.QueueDeclare(queue: "hello"
  8.                               durable: false
  9.                               exclusive: false
  10.                               autoDelete: false
  11.                               arguments: null); 
  12.   
  13.          //回调,当consumer收到消息后会执行该函数 
  14.          var consumer = new EventingBasicConsumer(channel); 
  15.          consumer.Received += (model, ea) => 
  16.          { 
  17.              var body = ea.Body; 
  18.              var message = Encoding.UTF8.GetString(body); 
  19.              Console.WriteLine(" [x] Received {0}", message); 
  20.          }; 
  21.   
  22.          //消费队列"hello"中的消息 
  23.          channel.BasicConsume(queue: "hello"
  24.                               noAck: true
  25.                               consumer: consumer); 
  26.   
  27.          Console.WriteLine(" Press [enter] to exit."); 
  28.          Console.ReadLine(); 
  29.      } 
  30.  } 

该段代码可以理解为:创建信道->创建队列->定义回调函数->消费消息。

该实例描述了Send/Receive模式,可以简单理解为1(producer) VS 1(consumer)的场景;

1(producer) VS 1(consumer)

实例3则描述了Publish/Subscriber模式,即1(producer) VS 多个(consumer);

1(producer) VS 多个(consumer)

在以上两个示例中,producer只需要发送消息即可,并不关心consumer的返回结果。实例6则描述了一个RPC调用场景,producer发送消息后还要接收consumer的返回结果,这一场景看起来跟使用消息队列的目的有点相悖。因为使用消息队列的目的之一就是要异步,但是这一场景似乎又将异步变成了同步,不过这一场景也很有用,比如一个用户操作产生了一个消息,应用服务收到该消息后执行了一些逻辑并使得数据库发生了变化,UI会一直等待应用服务的返回结果才刷新页面。

返回结果

三、 发现抽象

我桌子上放着一本RabbitMQ in Action,另外官网提供的文档也很详细,我感觉在一个月内我就能精通RabbitMQ,到时候简历上又可以写上“精通…”,感觉有点小得意呢... ,但是我知道这并不是使用RabbitMQ的最佳方式。

我们知道合理的抽象可以帮我们隐藏掉一些技术细节,让我们将重心放在核心业务上,比如一个人问你:“大雁塔如何走?”你的回答可能是“小寨往东,一直走两站,右手边”,如果你回答:“右转45度,向前走100米,再转90度…”,对方就会迷失在这些细节中。

消息队列的使用过程中实际隐藏着一种抽象——服务总线(Service Bus)。

我们在回头看第一个例子,这个例子隐含的业务是:ClientA发送一个指令,ClientB收到该指令后做出反应。如果是这样,我们为什么要关心如何创建channel,如何创建一个queue? 我仅仅是要发送一个消息而已。另外这个例子写的其实不够健壮:

没有重试机制:如果ClientB第一次没有执行成功如何对该消息处理?

没有错误处理机制:如果ClientB在重试了N次之后还是异常如何处理该消息?

没有熔断机制;

如何对ClientA做一个schedule(计划安排),比如定时发送等;

没有消息审计机制;

无法对消息的各个状态做追踪;

事物处理等。

服务总线正是这种场景的抽象,并且为我们提供了这些机制,让我们赶快来看个究竟吧。

四、初识MassTransit

MassTransit是.NET平台下的一款开源免费的ESB产品,官网:http://masstransit-project.com/,GitHub 700 star,500 Fork,类似的产品还有NServiceBus,之所以要选用MassTransit是因为他要比NServiceBus轻量级,另外在MassTransit开发之初就选用了RabbitMQ作为消息传输组建;同时我想拿他跟NServiceBus做个比较,看看他们到底有哪些侧重点。

1、新建控制台应用程序:Masstransit.RabbitMQ.GreetingClient

使用MassTransit可以从Nuget中安装:

 
  1. Install-Package MassTransit.RabbitMQ 

2、创建服务总线,发送一个命令:

 
  1. static void Main(string[] args) 
  2.     Console.WriteLine("Press 'Enter' to send a message.To exit, Ctrl + C"); 
  3.   
  4.     var bus = BusCreator.CreateBus(); 
  5.     var sendToUri = new Uri($"{RabbitMqConstants.RabbitMqUri}{RabbitMqConstants.GreetingQueue}"); 
  6.   
  7.     while (Console.ReadLine()!=null
  8.     { 
  9.         Task.Run(() => SendCommand(bus, sendToUri)).Wait(); 
  10.     } 
  11.   
  12.     Console.ReadLine(); 
  13.   
  14. private static async void SendCommand(IBusControl bus,Uri sendToUri) 
  15.     var endPoint =await bus.GetSendEndpoint(sendToUri); 
  16.     var command = new GreetingCommand() 
  17.     { 
  18.         Id = Guid.NewGuid(), 
  19.         DateTime = DateTime.Now 
  20.     }; 
  21.   
  22.     await endPoint.Send(command); 
  23.   
  24.     Console.WriteLine($"send command:id={command.Id},{command.DateTime}");  

这一段代码隐藏了众多关于消息队列的细节,将我们的注意力集中在发送消息上,同时ServiceBus提供的API也更接近业务,我们虽然发送的是一个消息,但是在这种场景下体现出来是一个命令,Send(command)这一API描述了我们的意图。

3、服务端接收这一命令

新建一个命令台控制程序:Masstransit.RabbitMQ.GreetingServer:

 
  1. var bus = BusCreator.CreateBus((cfg, host) => 
  2.     cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingQueue, e => 
  3.     { 
  4.         e.Consumer<GreetingConsumer>(); 
  5.   
  6.     }); 
  7. }); 

这一代码可以理解为服务端在监听消息,我们在服务端注册了一个名为“GreetingConsumer”的消费者,GreetingConsumer的定义:

 
  1. public class GreetingConsumer :IConsumer<GreetingCommand> 
  2.     public async Task Consume(ConsumeContext<GreetingCommand> context) 
  3.     { 
  4.   
  5.         await Console.Out.WriteLineAsync($"receive greeting commmand: {context.Message.Id},{context.Message.DateTime}"); 
  6.     } 

该consumer可以消费类型为GreetingCommand的消息。这一实例几乎隐藏了有关RabbitMQ的技术细节,将代码中心放在了业务中,将这两个控制台应用跑起来试试:

两个控制台应用

五、实现Publish/Subscribe模式

发布/订阅模式使得基于消息传递的软件架构成为可能,这一能力表现为ClientA发送消息X,ClientB和ClientC都可以订阅消息X。

1、我们在上面的例子中改造一下,当GreetingConsumer收到GreetingCommand后发送一个GreetingEvent:

 
  1. var greetingEvent = new GreetingEvent() 
  2.  { 
  3.      Id = context.Message.Id, 
  4.      DateTime = DateTime.Now 
  5.  }; 
  6.   
  7.  await context.Publish(greetingEvent); 

2、新建控制台程序Masstransit.RabbitMQ.GreetingEvent.SubscriberA用来订阅GreetingEvent消息:

 
  1. var bus = BusCreator.CreateBus((cfg, host) => 
  2.  { 
  3.      cfg.ReceiveEndpoint(host, RabbitMqConstants.GreetingEventSubscriberAQueue, e => 
  4.      { 
  5.          e.Consumer<GreetingEventConsumer>(); 
  6.      }); 
  7.  }); 
  8.   
  9.  bus.Start(); 

定义GreetingEventConsumer:

 
  1. public class GreetingEventConsumer:IConsumer<Greeting.Message.GreetingEvent> 
  2.  { 
  3.      public async Task Consume(ConsumeContext<Greeting.Message.GreetingEvent> context) 
  4.      { 
  5.          await Console.Out.WriteLineAsync($"receive greeting event: id {context.Message.Id}"); 
  6.      } 
  7.  } 

这一代码跟Masstransit.RabbitMQ.GreetingServer接受一个命令几乎一模一样,唯一的区别在于:

在Send/Receive模式中Client首先要获得对方(Server)的终结点(endpoint),直接向该终结点发送命令。Server方监听自己的终结点并消费命令。

而Publish/Subscribe模式中Client publish一个事件,SubscriberA在自己的终结点(endpointA)监听事件,SubscriberB在自己的终结点(endpointB)监听事件。

3、根据上面的分析再定义一个Masstransit.RabbitMQ.GreetingEvent.SubscriberB

4、将4个控制台应用程序跑起来看看

4个控制台应用程序

六、实现RPC模式

这一模式在Masstransit中被称作Request/Response模式,通过IRequestClient<IRequest, IResponse> 接口来实现相关操作。一个相关的例子在官方的github

结束语:本篇文章分析了如何使用Masstransit来抽象业务,避免直接使用具体的消息队列,当然本文提到的众多服务总线机制,如“重试、熔断等”并没有在该文中出现,需要大家进一步去了解该项目。

通过对Masstransit的一些试用和NServiceBus的对比,Masstransit在实际项目中很容易上手并且免费,各种API定义的也非常清晰,但是官方的文档有点过于简单,实际使用中还需要去做深入的研究。作为.NET平台下为数不多的ESB开源产品,其关注程度还是不够,期待大家为开源项目做出贡献。


作者:Richie Zhang

来源:51CTO

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
1月前
|
消息中间件 存储 负载均衡
|
6月前
|
消息中间件 存储 数据库
RabbitMQ特殊应用
RabbitMQ特殊应用
35 0
|
9月前
|
消息中间件
1. 什么是 RabbitMQ?
1. 什么是 RabbitMQ?
44 0
|
9月前
|
消息中间件 存储 网络协议
rabbitmq的介绍
rabbitMQ是一个开源的AMQP实现的消息队列中间件,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、C、 用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不错,与SpringAMQP完美的整合、API丰富易用。
|
10月前
|
消息中间件 存储 JSON
关于RabbitMQ
MQ是一种应用程序键一步通讯的技术,MQ是消息队列的缩写(Message Queue) 在MQ中,消息由一个应用程序发送到一个称为队列的中间件中,接着被中间件存储,并最终被另一个或多个消费者应用程序读取和处理; MQ组成:消息——生产者——队列——中间件——消费者!
54 0
|
10月前
|
消息中间件 网络协议 Java
RabbitMQ(1)
RabbitMQ(1)
|
10月前
|
消息中间件 存储 缓存
初识RabbitMQ
初识RabbitMQ
84 1
|
消息中间件 存储 网络协议
RabbitMQ(一)
RabbitMQ(一)
297 0
RabbitMQ(一)
|
消息中间件 存储 负载均衡
rabbitmq
AMQP协议 Advanced Message Queuing Protocol,应用层高级消息队列协议,基于此协议的客户端与消息中间件可传递消息,不受客户端/中间件同产品、不同的开发语言等条件的限制。
1721 0
rabbitmq
|
消息中间件 Linux
深入剖析 rabbitMQ(二)
在上篇关于消息队列的文章中,我们对 rabbitMQ 有过初步的介绍,本篇将将带你深入剖析 rabbitMQ 内部结构和使用。
深入剖析 rabbitMQ(二)

相关实验场景

更多