轻松搞定RabbitMQ（六）——主题

翻译地址：http://www.rabbitmq.com/tutorials/tutorial-five-java.html

在上一篇博文中，我们进一步改良了日志系统。使用Direct类型的转换器，使得接收者有能力进行选择性的接收日志,，而非fanout那样，只能够无脑的转发，如果你还不了解，请阅读：轻松搞定RabbitMQ（四）——发布/订阅。

虽然使用Direct类型的转换器改进了日志系统。但它仍然有一定的局限性——不能根据多重条件进行路由选择。

在我们的日志系统中，我们可能不仅仅根据日志严重性订阅日志，也想根据发送源订阅。你可能从unix工具syslog了解过这个概念，它可以根据严重性（info/warning/crit…）和设备（auth/cron/kern…）转发日志。

这将给我们更多的灵活性——我们可以订阅来自元‘cron’的致命错误日志，同时也可以订阅‘kern’的所有日志。

为了在我们的日志系统中实现上述需求，我们需要了解更复杂的主题类型的转发器——Topic Exchange。

Topic exchange（主题转发器）

发送给主题转发器的消息不能是任意设置的选择键，必须是用小数点隔开的一系列的标识符。这些标识符可以是随意，但是通常跟消息的某些特性相关联。一些合法的路由选择键比如“socket.usd.nyse”,"nyse.vmw","quick.orange.rabbit"，你愿意用多少单词都可以，只要不超过上限的255个字节。

绑定键也必须以相同的格式。主题转发器的逻辑类似于direct类型的转发器。消息通过一个特定的路由键发送到所有与绑定键匹配的队列中。需要注意的是，关于绑定键有两种特殊的情况：*（星号）可以代替任意一个标识符；#（井号）可以代替零个或多个标识符。

举一个简单例子，如下图：

在上图例子中，我们发送描述动物的消息。消息会转发给包含3个单词（2个小数点）的路由键绑定的队列中。绑定键中的第一个单词描述的是速度，第二个是颜色，第三个是物种：“速度.颜色.物种”。

我们创建3个绑定：Q1绑定键是“.orange.”，Q2绑定键是“..rabbit”，Q3绑定键是“lazy.#”。这些绑定可以概括为：Q1只对橙色的动物感兴趣。Q2则是关注兔子和所有懒的动物。

路由键为“quick.orange.rabbit”的消息会被路由到2个队列中去。而“lazy.orange.elephant”的消息同样会发往2个队列。另外“quick.orange.fox” 仅仅发往第一个队列，而"lazy.brown.fox"则只发往第二个队列。“quick.brown.fox”则所有的绑定键都不匹配而被丢弃。

如果我们违反约定，发送了只带1个或者4个标识符的选择键，像“orange”或者“quick.orange.male.rabbit”，会发生什么呢？这些消息都不匹配任何绑定，所以将被丢弃。

另外，“lazy.orange.male.rabbit”，尽管有4个标识符，但是仍然匹配最后一个绑定键，所以会发送到第二个队列中。

注：主题类型的转发器非常强大，可以实现其他类型的转发器。当队列绑定#绑定键，可以接受任何消息，类似于fanout转发器。当特殊字符*和#不包含在绑定键中，这个主题转发器就像一个direct类型的转发器。

完整实例

我们将主题类型的转发器应用到日志系统中，路由格式为：“<设备>.<严重级别>”。

发送端（EmitLogTopic.java）

public class EmitLogDirect {
	private final static String EXCHANGE_NAME = "topic_logs";

	public static void main(String[] args) throws IOException {
		/**
		 * 创建连接连接到MabbitMQ
		 */
		ConnectionFactory factory = new ConnectionFactory();
		// 设置MabbitMQ所在主机ip或者主机名
		factory.setHost("127.0.0.1");
		// 创建一个连接
		Connection connection = factory.newConnection();
		// 创建一个频道
		Channel channel = connection.createChannel();
		// 指定转发——广播
		channel.exchangeDeclare(EXCHANGE_NAME, "topic");

		//所有设备和日志级别
		String[] facilities ={"auth","cron","kern","auth.A"};
		String[] severities={"error","info","warning"};
		
		for(int i=0;i<4;i++){
			for(int j=0;j<3;j++){
			//每一个设备，每种日志级别发送一条日志消息
			String routingKey = facilities[i]+"."+severities[j%3];
			
			// 发送的消息
			String message =" Hello World!"+Strings.repeat(".", i+1);
			//参数1：exchange name
			//参数2：routing key
			channel.basicPublish(EXCHANGE_NAME, routingKey, null, message.getBytes());
			System.out.println(" [x] Sent [" + routingKey +"] : '"+ message + "'");
			}
		}
		// 关闭频道和连接
		channel.close();
		connection.close();
	}
}

消费者1（ReceiveLogs2Console.java）

public class ReceiveLogs2Console {
	private static final String EXCHANGE_NAME = "topic_logs";

	public static void main(String[] argv) throws IOException, InterruptedException {
		ConnectionFactory factory = new ConnectionFactory();
		factory.setHost("127.0.0.1");
		// 打开连接和创建频道，与发送端一样
		Connection connection = factory.newConnection();
		final Channel channel = connection.createChannel();

		//声明exchange
		channel.exchangeDeclare(EXCHANGE_NAME, "topic");
		// 声明一个随机队列
		String queueName = channel.queueDeclare().getQueue();

		String[] routingKeys ={"auth.*","*.info","#.warning"};//关注所有的授权日志、所有info和waring级别的日志
		for (String routingKey : routingKeys) {
			//关注所有级别的日志（多重绑定）
			channel.queueBind(queueName, EXCHANGE_NAME, routingKey);
		}
		System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
		
		// 创建队列消费者
		final Consumer consumer = new DefaultConsumer(channel) {
			  @Override
			  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
			    String message = new String(body, "UTF-8");
			    System.out.println(" [x] Received ["  + envelope.getRoutingKey() + "] :'" + message + "'");
			  }
			};
			channel.basicConsume(queueName, true, consumer);
	}
}

消费者2（ReceiveLogs2File.java）

public class ReceiveLogs2File {
	private static final String EXCHANGE_NAME = "topic_logs";

	public static void main(String[] argv) throws IOException, InterruptedException {
		ConnectionFactory factory = new ConnectionFactory();
		factory.setHost("127.0.0.1");
		// 打开连接和创建频道，与发送端一样
		Connection connection = factory.newConnection();
		final Channel channel = connection.createChannel();

		channel.exchangeDeclare(EXCHANGE_NAME, "topic");
		// 声明一个随机队列
		String queueName = channel.queueDeclare().getQueue();
	    channel.queueBind(queueName, EXCHANGE_NAME, "");

	    String severity="kern.error";//只关注核心错误级别的日志，然后记录到文件中去。
	    channel.queueBind(queueName, EXCHANGE_NAME, severity);
	    
		System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
		
		// 创建队列消费者
		final Consumer consumer = new DefaultConsumer(channel) {
			  @Override
			  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
			    String message = new String(body, "UTF-8");
			    //记录日志到文件：
			    print2File( "["+ envelope.getRoutingKey() + "] "+message);
			  }
			};
			channel.basicConsume(queueName, true, consumer);
	}
	
	private static void print2File(String msg) {
		try {
			String dir = ReceiveLogs2File.class.getClassLoader().getResource("").getPath();
			String logFileName = new SimpleDateFormat("yyyy-MM-dd").format(new Date());
			File file = new File(dir, logFileName + ".log");
			FileOutputStream fos = new FileOutputStream(file, true);
			fos.write((new SimpleDateFormat("HH:mm:ss").format(new Date())+" - "+msg + "\r\n").getBytes());
			fos.flush();
			fos.close();
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}  
}

最终结果：

轻松搞定RabbitMQ（七）——远程过程调用RPC

翻译：http://www.rabbitmq.com/tutorials/tutorial-six-java.html
在第二篇博文中，我们已经了解到了如何使用工作队列来向多个消费者分散耗时任务。
但是付过我们需要在远程电脑上运行一个方法然后等待结果，该怎么办？这是不同的需求。这个模式通常叫做RPC。

本文我们将使用RabbitMQ构建一个RPC系统：一个客户端和一个可扩展的RPC服务器端。由于我们没有任何真实的耗时任务需要分配，所以我们将创建一个虚拟的RPC服务，可以返回斐波纳契数列。

Client interface（客户端接口）

为了说明RPC服务可以使用，我们创建一个简单的客户端类。暴露一个方法——发送RPC请求，然后阻塞直到获得结果。

FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();   
String result = fibonacciRpc.call("4");
System.out.println( "fib(4) is " + result);

Callback queue（回调队列）

一般在RabbitMQ中做RPC是很简单的。客户端发送请求消息，服务器回复响应的消息。为了接受响应的消息，我们需要在请求消息中发送一个回调队列。可以用默认的队列（仅限java客户端）。试一试吧：

BasicProperties props = new BasicProperties
                            .Builder()
                            .replyTo(callbackQueueName)
                            .build();

channel.basicPublish("", "rpc_queue", props, message.getBytes());

// ... then code to read a response message from the callback_queue ...

Message properties（消息属性）

AMQP协议为消息预定义了一组14个属性。大部分的属性是很少使用的。除了一下几种：

deliveryMode：标记消息传递模式，2-消息持久化，其他值-瞬态。在第二篇文章中还提到过。
contentType：内容类型，用于描述编码的mime-type。例如经常为该属性设置JSON编码。
replyTo：应答，通用的回调队列名称
correlationId：关联ID，方便RPC响应与请求关联

我们需要添加一个新的导入

import com.rabbitmq.client.AMQP.BasicProperties;

Correlation Id

在上述方法中为每个RPC请求创建一个回调队列。这是很低效的。幸运的是，一个解决方案：可以为每个客户端创建一个单一的回调队列。
新的问题被提出，队列收到一条回复消息，但是不清楚是那条请求的回复。这是就需要使用correlationId属性了。我们要为每个请求设置唯一的值。然后，在回调队列中获取消息，看看这个属性，关联response和request就是基于这个属性值的。如果我们看到一个未知的correlationId属性值的消息，可以放心的无视它——它不是我们发送的请求。
你可能问道，为什么要忽略回调队列中未知的信息，而不是当作一个失败？这是由于在服务器端竞争条件的导致的。虽然不太可能，但是如果RPC服务器在发送给我们结果后，发送请求反馈前就挂掉了，这有可能会发送未知correlationId属性值的消息。如果发生了这种情况，重启RPC服务器将会重新处理该请求。这就是为什么在客户端必须很好的处理重复响应，RPC应该是幂等的。

Summary（总结）

我们的RPC的处理流程：

当客户端启动时，创建一个匿名的回调队列。
客户端为RPC请求设置2个属性：replyTo，设置回调队列名字；correlationId，标记request。
请求被发送到rpc_queue队列中。
RPC服务器端监听rpc_queue队列中的请求，当请求到来时，服务器端会处理并且把带有结果的消息发送给客户端。接收的队列就是replyTo设定的回调队列。
客户端监听回调队列，当有消息时，检查correlationId属性，如果与request中匹配，那就是结果了。

完整的实例

RPC服务器端（RPCServer.java）

/**
 * RPC服务器端
 * 
 * @author arron
 * @date 2015年9月30日 下午3:49:01
 * @version 1.0
 */
public class RPCServer {
	
	private static final String RPC_QUEUE_NAME = "rpc_queue";

	public static void main(String[] args) throws Exception {
		ConnectionFactory factory = new ConnectionFactory();
		// 设置MabbitMQ所在主机ip或者主机名
		factory.setHost("127.0.0.1");
		// 创建一个连接
		Connection connection = factory.newConnection();
		// 创建一个频道
		Channel channel = connection.createChannel();

		//声明队列
		channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);

		//限制：每次最多给一个消费者发送1条消息
		channel.basicQos(1);

		//为rpc_queue队列创建消费者，用于处理请求
		QueueingConsumer consumer = new QueueingConsumer(channel);
		channel.basicConsume(RPC_QUEUE_NAME, false, consumer);

		System.out.println(" [x] Awaiting RPC requests");

		while (true) {
			QueueingConsumer.Delivery delivery = consumer.nextDelivery();

			//获取请求中的correlationId属性值，并将其设置到结果消息的correlationId属性中
			BasicProperties props = delivery.getProperties();
			BasicProperties replyProps = new BasicProperties.Builder().correlationId(props.getCorrelationId()).build();
			//获取回调队列名字
			String callQueueName = props.getReplyTo();
			
			String message = new String(delivery.getBody(),"UTF-8");
			
			System.out.println(" [.] fib(" + message + ")");
			
			//获取结果
			String response = "" + fib(Integer.parseInt(message));
			//先发送回调结果
			channel.basicPublish("", callQueueName, replyProps,response.getBytes());
			//后手动发送消息反馈
			channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
		}
	}

	/**
	 * 计算斐波列其数列的第n项
	 * 
	 * @param n
	 * @return
	 * @throws Exception
	 */
	private static int fib(int n) throws Exception {
		if (n < 0)
			throw new Exception("参数错误，n必须大于等于0");
		if (n == 0)
			return 0;
		if (n == 1)
			return 1;
		return fib(n - 1) + fib(n - 2);
	}
}

RPC客户端（RPCClient.java）：

/**
 * 
 * @author arron
 * @date 2015年9月30日 下午3:44:43 
 * @version 1.0 
 */
public class RPCClient {

	private static final String RPC_QUEUE_NAME = "rpc_queue";
	
	private Connection connection;
	private Channel channel;
	private String replyQueueName;
	private QueueingConsumer consumer;
	
	public RPCClient() throws Exception {
	    ConnectionFactory factory = new ConnectionFactory();
		// 设置MabbitMQ所在主机ip或者主机名
		factory.setHost("127.0.0.1");
		// 创建一个连接
		connection = factory.newConnection();
		// 创建一个频道
		channel = connection.createChannel();
		
		//声明队列
		channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
		
		//为每一个客户端获取一个随机的回调队列
	    replyQueueName = channel.queueDeclare().getQueue();
	    //为每一个客户端创建一个消费者（用于监听回调队列，获取结果）
	    consumer = new QueueingConsumer(channel);
	    //消费者与队列关联
	    channel.basicConsume(replyQueueName, true, consumer);
	}
	
	/**
	 * 获取斐波列其数列的值
	 * 
	 * @param message
	 * @return
	 * @throws Exception
	 */
	public String call(String message) throws Exception{
		String response = null;
	    String corrId = java.util.UUID.randomUUID().toString();

	    //设置replyTo和correlationId属性值
	    BasicProperties props = new BasicProperties.Builder().correlationId(corrId).replyTo(replyQueueName).build();

	    //发送消息到rpc_queue队列
	    channel.basicPublish("", RPC_QUEUE_NAME, props, message.getBytes());

	    while (true) {
	        QueueingConsumer.Delivery delivery = consumer.nextDelivery();
	        if (delivery.getProperties().getCorrelationId().equals(corrId)) {
	            response = new String(delivery.getBody(),"UTF-8");
	            break;
	        }
	    }

	    return response; 
	}

	public static void main(String[] args) throws Exception {
		RPCClient fibonacciRpc = new RPCClient();   
		String result = fibonacciRpc.call("4");
		System.out.println( "fib(4) is " + result);
	}
}

输出结果：

fib(4) is 3

微信公众号【Java技术江湖】一位阿里 Java 工程师的技术小站。（关注公众号后回复”Java“即可领取 Java基础、进阶、项目和架构师等免费学习资料，更有数据库、分布式、微服务等热门技术学习视频，内容丰富，兼顾原理和实践，另外也将赠送作者原创的Java学习指南、Java程序员面试指南等干货资源）

轻松搞定RabbitMQ5：主题机制与RPC调用

轻松搞定RabbitMQ（六）——主题

Topic exchange（主题转发器）

完整实例

轻松搞定RabbitMQ（七）——远程过程调用RPC

Client interface（客户端接口）

Callback queue（回调队列）

Message properties（消息属性）

Correlation Id

Summary（总结）

完整的实例

热门文章

最新文章

相关课程

相关电子书

相关实验场景