consumers.list 是消费者列表，各列说明如下：参数 说明 Id 为消费者的ID全称，格式为 消费者组Id.消费者Id。Index 为当前消费者正在消费的数据index。Pending 指示当前消费者正在处理，但没有进行Commit的数据数量。Status 消费者的状态，...
可见性超时时间（Visibility Timeout）可见性超时时间：是指从消费者接收消息开始到允许其它消费者再次接收该消息的时间段。当消费者从队列接收消息时，消息仍然保留在队列中，但对其它消费者暂时不可见。暂时不可见状态由可见性超时机制...
可见性超时时间：是指从消费者接收消息开始到允许其它消费者再次接收该消息的时间段。当消费者从队列接收消息时，消息仍然保留在队列中，但对其它消费者暂时不可见。暂时不可见状态由可见性超时机制控制，防止其它消费者在该消息正在处理时...
消费位点初始值 消费位点初始值指的是消费者分组首次启动消费者消费消息时，服务端保存的消费位点的初始值。云消息队列 RocketMQ 版 定义消费位点的初始值为消费者首次获取消息时，该时刻队列中的最大消息位点。相当于消费者将从队列中最新...
在 云消息队列 RabbitMQ 版 中，消费重复（Message Duplication）指的是消费者在消费消息时，可能会多次接收到同一条消息。本文为您介绍消费重复的可能原因及解决办法。可能原因 消费重复可能由以下原因导致：消息重推特性导致：云消息队列...
在承诺消费的金额范围内，您的实例消费将按节省计划折扣单价来计算并抵扣，超出承诺消费的金额范围后，按正常的按量单价计算费用。节省计划均不限制实例大小和操作系统，通用型节省计划可以支持更多产品且不限制地域和规格族。只需预估大致...
顺序收发指的是消息消费者按照消息发送的顺序进行消费，保证 FIFO。金融场景里需要保证顺序的应用场景非常多，例如证券交易过程中的时间优先原则（交易系统中的订单创建、支付、退款等流程）。分布式事务一致性应用解耦往往带来多个应用...
什么是Kafka消息堆积 Kafka消息堆积是指：消费者未能及时消费生产者写入的消息，导致未被消费的消息在分区中“积压”。消息堆积总量=最大位点（全部分区）-消费位点（全部分区）消息堆积总量越大，堆积越严重。消息堆积总量趋近于0表示消费...
内部属性 消费者分组名称 定义：当前消费者关联的消费者分组名称，消费者必须关联到指定的消费者分组，通过消费者分组获取消费行为。更多信息，请参见 消费者分组（ConsumerGroup）。取值：消费者分组为 云消息队列 RocketMQ 版 的逻辑资源...
概述 本文描述了Quick BI色彩地图轮廓边缘的蓝色线条是指什么。详细信息 地图中这种蓝色的边缘轮廓线是海岸线。适用于 Quick BI 公共云
云消息队列 RocketMQ 版 支持Push型消费者和Simple型消费者这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息 云消息队列 RocketMQ 版 面向不同的业务场景提供了不同...
消费者分组（ConsumerGroup）消费者分组是 云消息队列 RocketMQ 版 系统中承载多个消费行为一致的消费者的负载均衡分组。和消费者不同，消费者分组并不是运行实体，而是一个逻辑资源。在 云消息队列 RocketMQ 版 中，通过消费者分组内初始...
消费者分组 API 标题 API概述 CreateConsumerGroup 创建消费者分组 创建云消息队列 RocketMQ 版的消费者分组（ConsumerGroup）。消费者分组是云消息队列 RocketMQ 版系统中承载多个消费行为一致的消费者的负载均衡分组。消费者需要通过指定...
订阅关系一致指的是同一个消费者 Group ID 下所有消费者实例所订阅的 Topic、Tag 以及对消息的处理逻辑必须完全一致。一旦订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失。本文提供订阅关系不一致的示例代码，帮助您顺畅地订阅...
dolphin_status topicName string 是 消费者分组订阅的主题名称。AMZN_REPORT_TOPIC body object 否 请求体对象。resetType string 否 重置方式。LATEST_OFFSET：从最新位点开始消费。Group ID 消费指定 Topic 中的消息时，会跳过当前堆积...
语法 {"Type":"DATASOURCE:ROCKETMQ5:ConsumerGroup","Properties":{"ConsumerGroupId":String,"InstanceId":String,"RefreshOptions":String } } 属性 属性名称 类型 必须 允许更新 描述 约束 ConsumerGroupId String 是 是 消费者分组ID...
重置消费位点是指改变订阅者当前的消费位置。当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点或者指定分区位点，重新开始消费。您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。前提...
public static void main(String[]args)throws LogHubClientWorkerException,InterruptedException {/consumer_1是消费者名称，同一个消费组下面的消费者名称必须不同。不同消费者在多台机器上启动多个进程，均衡消费一个Logstore时，消费...
查看消息处理耗时（rocketmq_process_time）和消息处理成功率（rocketmq_process_time_count{invocation_status="success"/invocation_status="success｜failure"}）等指标是否异常，初步定位是否是消费者客户端的问题。消息处理成功率=...
consumer 是 消费者群组的标识，即Group ID。tag 否 消息Tag。如果不指定Tag，则拉取所有消息。如果需要指定多个Tag，则使用双竖线（|）隔开，例如TagA|TagB。numOfMessages 是 一次最多消费多少条消息，取值范围：1～16。waitseconds 否 ...
什么是延时消息 延时消息是指在指定时间段之后才被消费者消费的消息。应用场景 延时消息适用于以下场景：对消息生产和消费有时间窗口要求的场景。例如，在电商交易中超时未支付关闭订单的场景，在订单创建时会发送一条延时消息。这条消息将...
mq-sub-digest.log mq-sub-digest.log 是消费者日志，日志样例如下：2021-05-07 10:29:57.048,SOFAMQ,0a0fe9291620354596788100162419,0,0A0FE929F3D318B4AAC22126E4A70000,00,TP_WUMUHX,TAGA,GZ00B@BROKER_LDC_EXCLUSIVE@broker-3,3,88,0,...
说明 实时消费是指单纯的计量消费，未出账，不含任何优惠及折扣。日累计SQL消费限制 费用预警 监控Project中标准SQL的日累计消费。如果当日Project中标准SQL已产生的累计消费与新发起的标准SQL预估消费总和超过设定的阈值，新发起的标准SQL...
问题分类 具体问题 购买前了解 节省计划的每小时承诺消费是什么？节省计划能提供库存预留吗？节省计划能为抢占式实例提供折扣吗？当能抵扣的实例台数不是整数时，节省计划如何工作？使用规则与兼容性 同一时间，是否可以有多份处于生效状态...
以上三种消费模式都受到checkpoint记录的影响，如果存在checkpoint记录，则从checkpoint处开始消费，不管指定的是什么消费模式。E-MapReduce SDK基于“SPECIAL_TIMER_CURSOR”模式支持用户强制在指定时间点开始消费，在LoghubUtils#...
轻量消息队列（原 MNS）提供消息轨迹查询功能，您可以通过消息轨迹查询消息的完整链路信息，包括消息的发送、订阅匹配、推送、消费等环节的时间、结果、生产者和消费者身份等信息，帮助您快速排查消息收发过程中的异常问题。使用场景 轻量...
什么是消息幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这个消费者的处理过程就是幂等的。例如，在支付场景下，消费者消费扣款消息，对一笔...
在 云消息队列 RabbitMQ 版 中，消费者倾斜（Consumer Skew）指的是一个队列中的消息处理负载不均衡，导致部分消费者处理大量消息而其他消费者相对闲置的情况，包括消费者性能瓶颈、资源利用率不均等。本文将介绍这种不均衡产生的原因和...
什么是消息幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这整个过程就实现了消息幂等。例如，在支付场景下，消费者消费扣款消息，对一笔订单...
使用建议 按照业务合理拆分分组 云消息队列 RocketMQ 版 的消费者和主题是多对多的关系，对于消费者分组的拆分设计，建议遵循以下原则：消费者的投递顺序一致：同一消费者分组下所有消费者的消费投递顺序是相同的，统一都是顺序投递或并发...
什么是消费幂等 在消息队列场景中，消费幂等处理是指即使因为某些原因（如网络问题、系统故障等）导致同一条消息被多次发送给消费者，通过幂等性设计也能保证最终的业务逻辑只被执行一次，避免因为重复消费而导致数据错误或业务结果不一致...
服务消费者调用服务提供者的策略是什么？默认是随机调用，如有更精细的需求，请参见 负载均衡。在 Registry 宕机后，如何避免因为服务提供者不健康而出现调用失败的问题？无论 SOFARegistry 是否宕机，SOFARPC 框架对服务提供者调用失败的...
消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积，那么这个时间接近发送时间。
更多时候，一个应用既是提供者又是消费者。RT：请求往返时间，指从客户端发起请求到接收服务端响应所经历的总时间。实例：等同于口语化表达中“节点”的概念。具体来说，在K8s场景下，应用工作负载下的一个Pod，就是一个应用实例；在ECS...
最大投递次数 最大投递次数（Maximum Delivery Attempt）是指系统将一条消息尝试投递给消费者的最大次数限制。设置合理的最大投递次数优点：避免无限重试：通过设置最大投递次数，避免消息无限重复投递，防止系统资源浪费。故障转移：当...
自动负载均衡：根据消费者数量自动分配shard，消费者增加或退出后会自动进行负载均衡。前提条件 您已完成以下操作：安装logstash-input-sls插件。具体操作步骤请参见 安装或卸载插件。创建日志服务项目和Logstore，并采集数据。具体操作...
一个消费组由多个消费者构成，同一个消费组下面的消费者共同消费一个LogStore中的数据，消费者之间不会重复消费数据。一个LogStore下面会有多个Shard。每个Shard只会分配到一个消费者。一个消费者可以同时拥有多个Shard。所创建的消费者...
消费者订阅了某个主题后，云消息队列 RocketMQ 版 会将该主题中的所有消息投递给消费者。若消费者只需要关注部分消息，可通过设置过滤条件在 云消息队列 RocketMQ 版 服务端进行过滤，只获取到需要关注的消息子集，避免接收到大量无效的...
什么是消费者负载均衡 如上文所述，消费组间广播消费场景下，每个消费者分组内只有一个消费者，因此不涉及消费者的负载均衡。消费组内共享消费场景下，消费者分组内多个消费者共同分担消息，消息按照哪种逻辑分配给哪个消费者，就是由消费...
行业背景与痛点 画像分析是指基于沉淀用户的自然属性、行为属性、偏好属性等属性挖掘用户兴趣点、分析群体特征的过程。用户画像是刻画出用户个体或者用户群体全方位特征的重要手段，能为运营分析人员提供用户的偏好、行为等信息进而优化...