ActiveMQ多个消费者消费不均匀问题

简介: ActiveMQ多个消费者消费不均匀问题如果客户端处理很慢的话,Broker会在之前发送消息的反馈之前,继续发送新的消息到客户端。如果客户端依旧很慢的话,没有得到确认反馈的消息会持续增长。在这种情况下,Broker有可能会停止发送消息给消费者。

ActiveMQ多个消费者消费不均匀问题
如果客户端处理很慢的话,Broker会在之前发送消息的反馈之前,继续发送新的消息到客户端。如果客户端依旧很慢的话,没有得到确认反馈的消息会持续增长。在这种情况下,Broker有可能会停止发送消息给消费者。当未被反馈的消息达到了prefetch limit设置的数字时,Broker将会停止给消费者发送新的消息。除非消费者开始给与反馈,否则得不到任何消息。

Default Prefetch Limit(默认预取限制):不同的消费者类型有不同的默认设置,具体设置如下:

Queue consumer:默认1000

如果你使用一组消费者进行分散工作量的话(一个Queue对应多个消费者),典型的你应该把数字设置的小一些。如果一个消费者被允许可以聚集大量的未被确认的消息的话,会导致其它的消费者无事可做。同时,如果这个消费者出错的话,会导致大量的消息不能被处理,直到消费者恢复之前。

Queue browser:默认500

Topic consumer:默认32766

默认值32766是数字short的最大值,也是预取限制的最大值。

Durable topic subscriber:默认100

通常你可以通过增加预取限制来改善性能。

Optimizing prefetch limits(优化预取限制):通常的,优化Queue消费和持久化主题订阅者(durable topic subscriber)是个好主意。

Queue consumers—如果你的queue只有一个消费者的话,你可以设置预取限制为一个相当大的值。但,如果一个queue有一组消费者的话,你最好限制到一个比较小的数字上,比如0或者1.

Durable topic subscribers—通常增大预取限制的数量会提高性能。尝试一下增加到1000.

How to set prefectch limits(如何设置预取限制):你可以在Broker端或者消费者端设置预取制限。这有三种粒度的设置方式。如下:

java写法

ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory();

Properties props = new Properties();
props.setProperty("prefetchPolicy.queuePrefetch", "1000");
props.setProperty("prefetchPolicy.queueBrowserPrefetch", "500");
props.setProperty("prefetchPolicy.durableTopicPrefetch", "100");
props.setProperty("prefetchPolicy.topicPrefetch", "32766");

factory.setProperties(props);
Per destination:一个最好的粒度,你可以在创建消费者的时候设置每个目的的预取限制。消费queue,TEST.QUEUE,时指定预取限制为10.创建MessageConsumer 实例的代码如下:

Queue queue =
new ActiveMQQueue("TEST.QUEUE?consumer.prefetchSize=10");

MessageConsumer consumer = session.createConsumer(queue);

相关文章
|
8月前
|
消息中间件 弹性计算 Java
RocketMQ-没有消费者的消息堆积场景分析
RocketMQ-没有消费者的消息堆积场景分析
237 0
|
8月前
|
消息中间件 存储 安全
RocketMQ-消息消费模式 顺序消费
RocketMQ-消息消费模式 顺序消费
156 0
|
9月前
|
消息中间件
ActiveMQ消费者消费消息(点对点模式)
上篇博客写了生产者生产消息:ActiveMQ向消息队列存入消息
|
消息中间件 Kubernetes Kafka
Kafka 独立消费者
以前我们讨论的消费组,都是 group 的形式,group 可以自动地帮助消费者分配分区,且在发生异常时,还能自定地进行重平衡(Rebalance)。正常来说,group 帮助用户实现自动监听分区消费,但是在用户需要指定分区进行精确消费的场景下,由于 group 的重平衡机制,会打破这种消费方式,这不前段时间某项目就有个需求是这样的: 消息源端有若干个,每个消息源都会产生不同的消息,目标端也有若干个,每个目标端需要消费指定的消息源类型。
360 0
Kafka 独立消费者
|
消息中间件 缓存 NoSQL
ActiveMq的顺序性消费问题
首先说下顺序性消费带来的问题,都不考虑链式调用业务,就单纯互斥操作的业务,单机mq,单机redis环境,在mq消息等待被消费时的顺序问题
151 0
ActiveMq的顺序性消费问题
|
设计模式 安全
生产者与消费者模型
生产者与消费者模型
71 0
生产者与消费者模型
|
消息中间件 存储 调度
RabbitMQ学习笔记 02、生产者与消费者、多消费者平均压力
RabbitMQ学习笔记 02、生产者与消费者、多消费者平均压力
RabbitMQ学习笔记 02、生产者与消费者、多消费者平均压力
consumer消费消息后,如何准确回包
consumer消费消息后,如何准确回包
67 0
一个简单的生产者和消费者客服实现
一个简单的生产者和消费者客服实现
115 0
|
消息中间件 存储 运维
初始 Kafka Consumer 消费者
初始 Kafka Consumer 消费者
初始 Kafka Consumer 消费者