消费组是消息消费端的身份标识，多个消费者组成消息消费组接入物联网平台。设置AMQP服务端订阅后，物联网平台会将收到的设备消息转发到相应消费组，每条被流转到消费组的消息会被其中一个消费者接收。本文介绍如何在物联网平台创建、查看和...
使用建议 按照业务合理拆分分组 云消息队列 RocketMQ 版 的消费者和主题是多对多的关系，对于消费者分组的拆分设计，建议遵循以下原则：消费者的投递顺序一致：同一消费者分组下所有消费者的消费投递顺序是相同的，统一都是顺序投递或并发...
云消息队列 RocketMQ 版 支持Push型消费者和Simple型消费者这两种类型的消费者，本文分别从使用方式、实现原理、可靠性重试和适用场景等方面为您介绍这两种类型的消费者。背景信息 云消息队列 RocketMQ 版 面向不同的业务场景提供了不同...
场景示例：某数据平台收集了用户画像数据（例如不同年龄分布），对表中的敏感数据列使用数据平台独享的数据密钥进行了加密，并存储于后端PolarDB全密态数据库中。数据密钥只有数据平台持有，因此在非授权状态下，任意第三方仅可见密文数据...
查看报表 消费组监控仪表盘用于展示消费组相关信息，包括消费组个数、消费Logstore个数、消费Shard个数、消费组延迟数、消费组数据占比、消费组列表、消费组延时Top 10、消费落后时长等图表。更多信息，请参见 查看数据报表。功能入口 登录...
场景示例：某数据平台收集了用户画像数据（例如不同年龄分布），对表中的敏感数据列使用数据平台独享的数据密钥进行了加密，并存储于后端PolarDB全密态数据库中。数据密钥只有数据平台持有，因此在非授权状态下，任意第三方仅可见密文数据...
新零售场景 多源业务地址匹配，建立标准数据库，分析城市POI画像，赋能零售企业的营销推广。1.将用户地址纠错、补全、结构化成标准地址；2.实现标准地址与业务地址1:N的关联关系建立；3.评估产品社区渗透率，指导营销、完善售后；4.门店...
本教程以用户画像为例，在华东2（上海）地域演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为了确保您能够顺利完成本教程，您需要准备教程所需的EMR Serverless Spark空间、DataWorks工作空间，并进行相关的环境...
内部属性 消费者分组名称 定义：当前消费者关联的消费者分组名称，消费者必须关联到指定的消费者分组，通过消费者分组获取消费行为。更多信息，请参见 消费者分组（ConsumerGroup）。取值：消费者分组为 云消息队列 RocketMQ 版 的逻辑资源...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发Data Studio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发Data Studio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发Data Studio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
本文介绍 SOFAStack 消息队列的集群消费和广播消费的基本概念、适用场景以及注意事项。消息队列是基于发布/订阅模型的消息系统。消费者，即消息的订阅方订阅关注的 Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式...
日志服务提供基于消费处理器的数据实时消费功能，通过SPL实现服务端数据处理后消费。本文介绍消费处理器的概念、优势、场景、计费规则及消费目标。工作原理 基于消费处理器消费是一种通过设置SPL实时处理日志服务数据的方式，适用于第三方...
目标库选型建议：对现有的数据库画像进行分析，给出迁移到各种目标库的兼容度，为用户提供目标库决策的依据。数据库评估分析：帮助用户评估目标库兼容性，规格，迁移风险，让用户全面了解数据库上云的可行性以及改造工作量。应用评估 应用...
本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经完成了 加工数据。即已通过数据开发Data Studio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户...
消费者出现异常，云消息队列 RocketMQ 版 会根据消费重试策略重新投递该消息进行故障恢复。本文介绍消费重试的应用场景、原理机制、版本兼容性和使用建议。应用场景 云消息队列 RocketMQ 版 的消费重试主要解决的是业务处理逻辑失败导致的...
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点或者指定分区位点，重新开始消费。您也可以将消费位置移动至最新位点，暂时不处理堆积的消息。前提条件 已停止所有Consumer客户端（云消息队列 ...
当Kafka出现消费堆积、倾斜、流量被限流等异常时，您可以查看Group和Topic之间的订阅关系，获取Topic各个分区的消费进度，了解消息的堆积总量，及时调整业务、预防风险。注意事项 建议一个消费组不要订阅超过三个Topic，避免消息堆积。当您...
当您使用第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据时，SDK消费无法满足日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，您可以通过消费组（ConsumerGroup）消费日志，消费组...
如果消息消费出现异常，您可以在 云消息队列 RocketMQ 版 控制台查看指定Group ID的消费状态，包括消费者在线状态、订阅关系一致性结果、消费堆积相关指标、消费者客户端信息等，帮助您快速定位异常原因。应用场景 消费者状态信息包括在线...
消费者 消费者是指从队列服务中订阅数据的客户端程序，当客户端使用Watch API进行数据调用时，会在队列服务中生成消费者对象。API中的参数（如Window的大小、Tags），将作为消费者的属性。通过Attribute API查看消费者状态，示例如下：[OK]...
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
MaxCompute提供如下消费监控告警方式：消费监控告警方式 消费限制措施 描述 单SQL消费限制 限制资源消耗 MaxCompute支持在执行SQL语句前预估SQL语句的资源消费。当预估资源消费超出设定的阈值时，SQL语句执行受限，系统返回失败状态并给出...
在对Logstore进行实时消费时，使用消费处理器可以对数据进行数据变换操作，例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理消费处理器。创建消费处理器 控制台 登录 日志服务控制台。在Project列表...
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
查看外联域名或者外联目的IP的情报画像，了解业务资产外联的域名和外联目的IP 单击 查看情报画像，展示该域名或者目的IP的分析数据。具体信息，请参见 查看外联域名和外联目的IP的情报画像。查看外联域名详情，判断是否为业务需要的流量 ...
当您使用第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据时，无法满足日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，您可以通过消费组消费日志，消费组提供秒级实时消费。前提条件 您...
您可以管控不同应用系统（目前仅支持Quick BI）的消费渠道或设置排序等操作。本文为您介绍如何管理消费渠道。前提条件 需购买Quick BI专业版5.3.2及以上版本，支持使用BI相关的消费渠道。需先在 管理中心 数据源管理 应用系统 创建应用系统...
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对同一个数据源的数据进行重复消费，从而降低数据订阅的使用成本。前提条件 已创建订阅实例，且实例的运行状态为 正常。更多信息，请参见 订阅方案概览。注意事项 若您需要消费的...