实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写，类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句，服务端返回处理结果，...
工作原理 基于规则消费是指第三方软件、多语言应用、云产品、流式计算框架等通过设置SPL实时消费日志服务的数据。SPL是SLS推出的一款针对日志弱结构化特点进行高性能数据处理的语言。基于规则消费的原理是在服务端使用SPL对日志中的弱结构...
当您使用第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据时，无法满足日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，您可以通过消费组消费日志，消费组提供秒级实时消费。前提条件 您...
软负载即软件负载，当需要调用服务时，消费方根据软负载策略，从 SOFARegistry 推送到本地缓存的列表里，选择一个地址，再调用该地址所提供的服务。SOFARPC 采用服务发布（ServicePublish）和引用（ServiceReference）模型，通过 ...
软负载 软负载即软件负载。当需要调用服务时，消费方根据软负载策略，从服务注册中心（SOFARegistry）推送到本地缓存的列表里选择一个地址，再调用该地址所提供的服务。SOFARPC 采用服务发布（ServicePublish）和引用（ServiceReference）...
Quick Audience集数据资产构建、用户分析、精准营销投放、跨端社交互动和全渠道会员管理为一体的全渠道消费者运营平台。以消费者运营为核心，通过丰富的用户洞察模型、快速的人群圈选能力和便捷的策略配置，帮助您更好的进行消费者运营，...
操作步骤 本文以IntelliJ IDEA软件为例，介绍如何运行SDK示例代码来消费订阅数据。下载数据订阅 SDK示例代码文件，然后解压该文件。使用IntelliJ IDEA软件，以Maven工程打开解压后的SDK示例代码文件。在/subscribe-demo/src/main/java/...
协同消费库 协同消费库（Consumer Library）是日志服务中对日志进行消费的高级模式，提供了消费组的概念对消费端进行抽象和管理，和直接使用SDK进行数据读取的区别在于，用户无需关心日志服务的实现细节，只需要专注于业务逻辑，另外，消费...
每条消息被某个消费者消费完成后不会立即在队列中删除，云消息队列 RocketMQ 版 会基于每个消费者分组维护一份消费记录，该记录指定消费者分组消费某一个队列时，消费过的最新一条消息的位点，即消费位点。当消费者客户端离线，又再次重新...
集群消费和广播消费是 云消息队列 RocketMQ 版 的基本消费模式，您可以在消费者客户端将消费模式设置为集群消费或者广播消费，用于控制同一条消息只能被集群内一个消费者消费到，还是会被集群内每个消费者都消费到。背景信息 云消息队列 ...
消费者从 云消息队列 RocketMQ 版 获取消息消费时，通过消费者负载均衡策略，可将主题内的消息分配给指定消费者分组中的多个消费者共同分担，提高消费并发能力和消费者的水平扩展能力。本文介绍 云消息队列 RocketMQ 版 消费者的负载均衡...
每条消息被某个消费者消费完成后不会立即在队列中删除，云消息队列 RocketMQ 版 会基于每个Group维护一份消费记录，该记录指定了Group下的消费者消费指定Topic时，消费过的最新一条消息的位点，即消费位点。当消费者客户端离线又再次重新...
消费组是消息消费端的身份标识，多个消费者组成消息消费组接入物联网平台。设置AMQP服务端订阅后，物联网平台会将收到的设备消息转发到相应消费组，每条被流转到消费组的消息会被其中一个消费者接收。本文介绍如何在物联网平台创建、查看和...
使用建议 按照业务合理拆分分组 云消息队列 RocketMQ 版 的消费者和主题是多对多的关系，对于消费者分组的拆分设计，建议遵循以下原则：消费者的投递顺序一致：同一消费者分组下所有消费者的消费投递顺序是相同的，统一都是顺序投递或并发...
云消息队列 RocketMQ 版 支持Push型消费者和Simple型消费者这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息 云消息队列 RocketMQ 版 面向不同的业务场景提供了不同...
查看报表 消费组监控仪表盘用于展示消费组相关信息，包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。更多信息，请参见 查看数据报表。功能入口 登录...
内部属性 消费者分组名称 定义：当前消费者关联的消费者分组名称，消费者必须关联到指定的消费者分组，通过消费者分组获取消费行为。更多信息，请参见 消费者分组（ConsumerGroup）。取值：消费者分组为 云消息队列 RocketMQ 版 的逻辑资源...
本文介绍 SOFAStack 消息队列的集群消费和广播消费的基本概念、适用场景以及注意事项。消息队列是基于发布/订阅模型的消息系统。消费者，即消息的订阅方订阅关注的 Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式...
消费者出现异常，云消息队列 RocketMQ 版 会根据消费重试策略重新投递该消息进行故障恢复。本文介绍消费重试的应用场景、原理机制、版本兼容性和使用建议。应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的...
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点或者指定分区位点，重新开始消费。您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。前提条件 已停止所有Consumer客户端（云消息队列 ...
当Kafka出现消费堆积、倾斜、流量被限流等异常时，您可以查看Group和Topic之间的订阅关系，获取Topic各个分区的消费进度，了解消息的堆积总量，及时调整业务、预防风险。注意事项 建议一个消费组不要订阅超过三个Topic，避免消息堆积。当您...
如果消息消费出现异常，您可以在 云消息队列 RocketMQ 版 控制台查看指定Group ID的消费状态，包括消费者在线状态、订阅关系一致性结果、消费堆积相关指标、消费者客户端信息等，帮助您快速定位异常原因。应用场景 消费者状态信息包括在线...
消费者 消费者是指从队列服务中订阅数据的客户端程序，当客户端使用Watch API进行数据调用时，会在队列服务中生成消费者对象。API中的参数（如Window的大小、Tags），将作为消费者的属性。通过Attribute API查看消费者状态，示例如下：[OK]...
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
MaxCompute提供如下消费监控告警方式：消费监控告警方式 消费限制措施 描述 单SQL消费限制 限制资源消耗 MaxCompute支持在执行SQL语句前预估SQL语句的资源消费。当预估资源消费超出设定的阈值时，SQL语句执行受限，系统返回失败状态并给出...
在对Logstore进行实时消费时，使用消费处理器可以对数据进行数据变换操作，例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理消费处理器。创建消费处理器 控制台 登录 日志服务控制台。在Project列表...
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
您可以管控不同应用系统（目前仅支持Quick BI）的消费渠道或设置排序等操作。本文为您介绍如何管理消费渠道。前提条件 需购买Quick BI专业版5.3.2及以上版本，支持使用BI相关的消费渠道。需先在 管理中心 数据源管理 应用系统 创建应用系统...
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对同一个数据源的数据进行重复消费，从而降低数据订阅的使用成本。前提条件 已创建订阅实例，且实例的运行状态为 正常。更多信息，请参见 订阅方案概览。注意事项 若您需要消费的...
如果消息消费异常，您可以在 SOFAStack 消息队列控制台查看消费者状态，进行问题排查。本文介绍如何查看消费者状态。查看 Group ID 消费者状态 登录 SOFAStack 控制台。在左侧导航栏，选择 中间件 消息队列 Group 管理。单击目标 Group ID ...
在 云消息队列 RabbitMQ 版 中，消费者倾斜（Consumer Skew）指的是一个队列中的消息处理负载不均衡，导致部分消费者处理大量消息而其他消费者相对闲置的情况，包括消费者性能瓶颈、资源利用率不均等。本文将介绍这种不均衡产生的原因和...
您可通过重置消费位点，按需清除堆积的或不想消费的这部分消息再从最新位点开始消费，或直接跳转到某个时间点消费该时间点之后的消息。重要 广播消费模式不支持重置消费位点。目前不支持指定 Message ID、Message Key 和 Tag 来重置消息的...
灰度消息，基线环境消费者和对应灰度环境消费者均会进行消费，且基线环境消费者和对应灰度环境消费者会独立消费同一条消息两次。如果希望灰度环境生产者应用生产的消息只有对应灰度环境消费者进行消费，请参见 配置灰度消息消费者。使用...
云消息队列 RocketMQ 版 Global Replicator支持消费进度同步功能，本文为您介绍消费进度同步的操作步骤。单向同步任务 注意事项 消费进度同步功能开启后，如果选择自动更新消费进度，则每10秒会对实例间所有Topic映射关系下的同名Group进行...
{e}")if_name_='_main_':main()相关文档 消费日志API接口请参见：ListConsumerGroup-查询消费组 CreateConsumerGroup-创建消费组 DeleteConsumerGroup-删除消费组 UpdateConsumerGroup-更新消费者组 GetCheckPoint-获取指定消费组的消费点 ...
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点重新开始消费，您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。消息 API 标题 API概述 ListMessages 查询消息列表 查询消息列表。...
背景信息 关于消费组的介绍请参见 消费组。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的 数据消费。根据需求...
一般情况下，客户端从Broker节点拉取消息的过程不会导致消息堆积，主要是客户端本地消费过程中，由于消费耗时过长或消费并发度较小等原因，导致客户端消费能力不足，出现消息堆积的问题。具体的消费原理和消息堆积原因请参见 消息堆积和...
AI 网关通过消费者来为路由、API开启认证能力，本文介绍AI网关控制台如何管理消费者。操作步骤 登录 AI网关控制台。在左侧导航栏，单击 消费者，并在顶部菜单栏选择地域。在 消费者 页面左上角，单击 创建消费者。在 创建消费者 页面，填写...