是否顺序投递 消费者所属的消费者分组是否开启顺序消费。投递时间 云消息队列 RocketMQ 版 服务端将消息投递给消费者的时间。应答时间 云消息队列 RocketMQ 版 收到消费者返回的消费结果的时间。invisibleDuration SimpleConsumer传入的...
本教程以用户画像分析为例，演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为了确保您能够顺利完成本教程，您需要准备教程所需的EMR集群、DataWorks工作空间，并做好相关的环境配置。业务背景 为了更好地制定企业...
本教程以用户画像分析为例，演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为确保您能够顺利完成本教程，请准备好所需的EMR集群、DataWorks工作空间，并完成相关的环境配置。业务背景 为了更好地制定企业经营策略，...
导航栏中选择 消息轨迹，单击 创建查询任务，选择 按 Message ID 查询，输入对应的信息，发现部分消息已发送至Broker节点，但未投递给下游消费者。可能原因 云消息队列 RocketMQ 版 的消息发送至Broker节点后，配置了Group ID的客户端根据...
在 云消息队列 RabbitMQ 版 中，消费重复（Message Duplication）指的是消费者在消费消息时，可能会多次接收到同一条消息。本文为您介绍消费重复的可能原因及解决办法。可能原因 消费重复可能由以下原因导致：消息重推特性导致：云消息队列...
消费者发送心跳到服务端。接口说明 接口说明 Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。消费者和服务端通过固定时间发送心跳建立连接。在固定时间段内没有收到心跳，消费者将被删除。已创建并获取 ...
在日志服务中，一个日志库（Logstore）下面会有多个分区（Shard），协同消费库将 shard 分配给一个消费组下面的消费者，分配方式遵循以下原则：每个shard只会分配到一个消费者。一个消费者可以同时拥有多个shard。新的消费者加入一个消费组...
消息消费 消费者分组（ConsumerGroup）：云消息队列 RocketMQ 版 发布订阅模型中定义的独立的消费身份分组，用于统一管理底层运行的多个消费者（Consumer）。同一个消费组的多个消费者必须保持消费逻辑和配置一致，共同分担该消费组订阅的...
达到最大重试次数后，若消费依然失败，则表明消费者在正常情况下无法正确地消费该消息。此时，消息队列不会立刻将消息丢弃，而是将其发送到该消费者对应的特殊队列中。在消息队列中，这种正常情况下无法被消费的消息称为死信消息（Dead-...
2、配置监控规则 表 ods_raw_log_d_odps 用于接收从OSS同步过来的网站访问记录，为用户画像分析场景的源头表，所以为了避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表的分区写入数据。...
group="consumer_group_test"#shard的id shard=0#check_point的名称 check_point="check_point_1"#消费者名称 consumer=''#消费者名称 force_success=True try:#创建指定 Project 的 Consumer Group response=client.update_check_point...
重要 消费者类型为PushConsumer时，云消息队列 RocketMQ 版 保证消息按照存储顺序一条一条投递给消费者，若消费者类型为SimpleConsumer，则消费者有可能一次拉取多条消息。此时，消息消费的顺序性需要由业务方自行保证。消费者类型的具体...
2、配置监控规则 表 ods_raw_log_d 用于接收从OSS同步过来的网站访问记录，为用户画像分析场景的源头表，所以为了避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表的分区写入数据。...
2、配置监控规则 表 ods_raw_log_d 用于接收从OSS同步过来的网站访问记录，为用户画像分析场景的源头表，所以为了避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表的分区写入数据。...
更新消费者分组的基础信息和消费重试策略。接口说明 注意 阿里云提供的 OpenAPI 属于管控类 API，用于管理和查询阿里云服务的相关资源。仅推荐在管控链路集成，消息收发的核心数据链路中严禁依赖 OpenAPI 实现，否则可能会导致链路产生风险...
2、配置监控规则 表 ods_raw_log_d_odps 用于接收从OSS同步过来的网站访问记录，为用户画像分析场景的源头表，所以为了避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表的分区写入数据。...
用户画像 可以将各种用户特征进行数据加工，制作成包含全部用户的一张或多张用户特征表，提供灵活的用户画像分析、支撑广告和圈人等业务需求。实时BI报表 根据业务需求，可以实时制作一些及时产出的查询灵活的BI报表，实现秒级查询，绝大...
当您使用第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据时，SDK消费无法满足日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，您可以通过消费组（ConsumerGroup）消费日志，消费组...
重置指定消费者分组的消费位点。重置消费位点是指改变订阅者当前的消费位置。当消费者出现故障或者消费错误数据时，您可通过重置消费位点将消费位置回滚到之前的某个位点重新开始消费，您也可以将消费位置移动至最新位点，暂时不处理堆积的...
业务背景 为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体的地理属性、社会属性等，实现定时定点进行画像分析，进而实现网站流量精细化运营操作。操作前须知 为了顺利进行教程操作，请您...
当您使用第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据时，SDK消费无法满足日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，您可以通过消费组（ConsumerGroup）消费日志，消费组...
基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d_starrocks 对每日同步的原始日志数据进行表数据非0校验（强规则），以确保每天都能成功获取到原始日志数据，避免因数据缺失而影响后续计算。ods_user_info_d...
在超时时间段内没有收到心跳，消费者将被删除。单位：秒。重要 timeout 和 in_order 不能同时为 None。in_order bool 否 同一Shard上消费数据的顺序与数据写入时的顺序严格一致，in_order选项只影响分裂或合并前后的不同Shard间消费的顺序...
当您使用第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据时，无法满足日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，您可以通过消费组消费日志，消费组提供秒级实时消费。前提条件 您...
仅面向已付费客户开放，不在面向新客户售卖 客户属性 是绘制 用户画像 的基本数据来源之一，通过这些数据可以有效地对客户进行画像分析，客户属性主要是利用一些字段来完善客户的信息数据，例如性别、姓名、手机号等。一般记录客户属性数据...
轻量消息队列（原 MNS）提供消息轨迹查询功能，您可以通过消息轨迹查询消息的完整链路信息，包括消息的发送、订阅匹配、推送、消费等环节的时间、结果、生产者和消费者身份等信息，帮助您快速排查消息收发过程中的异常问题。使用场景 轻量...
业务背景 为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体的地理属性、社会属性等，实现定时定点进行画像分析，进而实现网站流量精细化运营操作。操作前须知 为了顺利进行教程操作，请您...
一个消费组只能创建一个消费者（consumer），并通过该消费者执行数据消费。若DTS增量数据采集模块或者客户端切换，则可能会导致数据重复。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅...
什么是批量消费 定义 批量消费是 云消息队列 RocketMQ 版 通过Push消费者提供的、将消息分批次消费的功能。说明 根据消息获取方式，云消息队列 RocketMQ 版 提供Push和Pull两种类型的消费者，更多信息，请参见 基本概念。功能原理 批量消费...
自动负载均衡：根据消费者数量自动分配shard，消费者增加或退出后会自动进行负载均衡。前提条件 您已完成以下操作：安装logstash-input-sls插件。具体操作步骤请参见 安装或卸载插件。创建日志服务项目和Logstore，并采集数据。具体操作...
消息轨迹是指一条消息从生产者发送到消息队列服务端，再到消费者消费处理，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整链路信息。本文介绍如何快速查询消息轨迹。前提条件 您的消息已从生产者发送。操作步骤 登录 SOFAStack...
创建购车客户画像分析任务。请求参数 名称 类型 必填 描述 示例值 model string 是 定义业务类型，固定为tingwu-automotive-customer-profile tingwu-automotive-customer-profile input object 是 传入相关业务参数 input.fileUrl string ...
List array object 攻击者画像列表。List object 攻击者画像详情。PortraitId string 攻击者画像 ID。cd48604a-1694-4f03-ade0-ec6994c3*AttackCount integer 攻击次数。10 LastTime long 最新发现时间戳。单位：毫秒。1679896965 Host ...
上述方式可以查询到消息的具体内容以及消费情况，如果需要追踪一条消息从生产者发出到被消费者消费的整个链路中各个相关节点的时间地点，可以使用消息队列最新的消息轨迹查询功能，具体使用方式请参考 查询消息轨迹。消息队列是否能保证...
分析结果 勾选本次调试需要的客户画像分析结果维度：试驾意向评分 销售线索评分 一句话客户画像 客户详细关注点分析（必选项）关注点 默认分析项：15大类62项（涵盖车辆信息、用户体验、产品配置、用车成本等）自定义分析项（上限100项）：...
案例配套文档：简单用户画像分析（MaxCompute版）。电商漏斗模型分析 DataWorks MaxCompute 数据开发 基于漏斗模型，使用DataStudio 数据开发 模块完成从原始数据获取购买商品的用户路径数据，并计算用户在浏览、点击、购买环节的流量转化...
账单概览：显示消费趋势分析报表、产品消费分析图、按账期（即月份）查看自身的消费汇总信息。账单详情：单击 明细账单 页签，查看您账户下所有的消费记录详情，可以查看包括每个实例在计费周期内磁盘大小和流量的使用总量。单击 用量明细 ...
账单概览：显示消费趋势分析报表、产品消费分析图、按账期（即月份）查看自身的消费汇总信息。账单详情：账单详情页：支持按照不同的统计项和账期筛选账单的明细，包括消费类型、计费项、单价、用量、价格等信息。查看用量明细：在 账单...
消费组是消息消费端的身份标识，多个消费者组成消息消费组接入物联网平台。设置AMQP服务端订阅后，物联网平台会将收到的设备消息转发到相应消费组，每条被流转到消费组的消息会被其中一个消费者接收。本文介绍如何在物联网平台创建、查看和...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接...后续步骤 了解以上使用组合后，可以通过参考以下实践案例，开始使用DataWorks：基础：购房群体简单分析 进阶：商品订单畅销类目分析 综合：网站用户画像分析