尾队列 尾队列是用于存放不推送给消费者的数据（如死信或自定义的控制数据）的辅助队列。它是队列服务内的一个队列实例，具有相同的API。每个输入和输出队列都有一个尾队列。重要 尾队列和普通队列共享最大队列长度。如果最大长度为10，...
同一个消费组下面的消费者共同消费一个Logstore中的日志数据，消费者之间不会重复消费数据。Shard数据模型可以简单理解为一个队列，新写入的数据被加到队尾，队列中的每条数据都会对应一个数据写入时间，下图是Shard的数据模型。查看报表 ...
每一个槽有自己的状态，允许不同的消费者从该数据库的更改流中的不同点开始接收更改。对于大多数应用，每一个消费者都将要求一个单独的槽。逻辑复制槽完全不知道接收者的状态。甚至可能会有多个不同的接收者在不同时间使用同一个槽，它们将...
数据一致性：数据消费者实例对数据的访问性能接近于数据生产者实例，同时消费者实例可以读到生产者实例最新已提交的写入数据，保证事务的ACID能力。数据共享可以帮助您解决以下问题：复杂组织权限隔离：例如公司总部和分部各有一个实例，...
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
因此如果上次SDK退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道中，就不能订阅到这个消费位点对应的数据。解决方案 为了修复这个问题，在启动SDK之前，需要先修改消费位点，使消费位点在数据范围内，具体的修改方法详见文档 ...
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建DataHub数据源。具体操作，请参见 创建DataHub数据源。进行...
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建DataHub数据源。具体操作，请参见 创建DataHub数据源。进行...
消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。获取最终加工后的数据后，使用数据服务模块，通过标准化的 API数据服务 接口，实现数据的共享与应用，为...
消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。获取最终加工后的数据后，使用数据服务模块，通过标准化的 API数据服务 接口，实现数据的共享与应用，为...
消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。获取最终加工后的数据后，使用数据服务模块，通过标准化的 API数据服务 接口，实现数据的共享与应用，为...
消费数据 用户画像分析完成后，使用数据分析模块，将加工后的 数据可视化展现，便于您快速提取关键信息，洞察数据背后的业务趋势。获取最终加工后的数据后，使用数据服务模块，通过标准化的 API数据服务 接口，实现数据的共享与应用，为...
消费者的下单、支付购买商品。线上销售与门店销售中的大件货物需要履约配送。线上与门店的营销活动，例如线上大促、线下打折等活动。售后服务，例如退换货、投诉等。零售事业群的架构 零售事业群的现有零售架构如下图。业务中台系统覆盖...
消费者的下单、支付购买商品。线上销售与门店销售中的大件货物需要履约配送。线上与门店的营销活动，例如线上大促、线下打折等活动。售后服务，例如退换货、投诉等。零售事业群的架构 零售事业群的现有零售架构如下图。业务中台系统覆盖...
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据...根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据 使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
当业务程序或Kafka消费客户端异常中断后，您可以传入自行记录的消费位点以继续消费，避免消费到重复的数据或缺失部分数据。管理位点 配置订阅客户端监听DTS的数据采集模块的切换行为。通过配置订阅客户端的Consumer的properties，监听DTS的...
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以使用DTS提供的SDK来消费订阅到的数据，本文介绍示例代码的使用方法。说明 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤，请参见 使用SDK消费PolarDB-X 1...
无影响 PolarDB-X 1.0 订阅（新版）任务的使用流程，以及订阅数据的消费方式如下：创建PolarDB-X 1.0数据订阅任务。消费订阅数据，请参见 使用SDK示例代码消费PolarDB-X 1.0订阅数据。相关代码参考，请参见 分布式订阅任务对应的数据消费...
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成整个数据订阅任务的配置。通过数据订阅功能可以实时订阅增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含...
例如，源库最新的数据于10点产生，目前DTS订阅任务已读取到源库9点55分的数据，下游客户端消费到9点30分的数据，此时消息延迟时间应为9点55分至9点30分的unix时间戳差值。说明 如果该参数返回-1，则表示当前没有客户端连接该消费组。...
本文介绍实时数据订阅功能的数据消费格式定义说明和示例，默认格式为Debezium Format V2.0。数据消费定义说明 数据消费格式如下代码，字段说明如下表所示。{"payload":{"op":"u","ts_ms":1465491411815,"before":{"id":1004,"name":"Jane"}...
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
本文介绍如何创建数据管理DMS（Data Management）逻辑库的数据订阅任务。前提条件 已配置数据管理DMS逻辑库，具体操作请参见 逻辑库。说明 数据管理DMS逻辑库需基于多个PolarDB MySQL实例的分库建立。注意事项 类型 说明 源库限制 待订阅的...
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
执行了移除订阅对象操作后，如果数据订阅的客户端还能订阅到该对象的数据，您需要在订阅客户端中进行过滤。若要进行新增订阅对象操作，需确保该订阅任务使用的账号有该订阅对象的相关权限。操作步骤 登录 数据传输控制台。在左侧导航栏，...
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已 创建RDS MySQL实例。说明 支持的版本，请参见...
源库信息 选择已有连接信息 若您需要使用 已录入系统（新建或保存）的数据库实例，请在下拉列表中选择所需的数据库实例，下方的数据库信息将自动进行配置。说明 DMS控制台的配置项为 选择DMS数据库实例。若您未将数据库实例录入到系统，或...
自建数据库包含第三方云的数据库实例、部署在您本地的数据库、部署在ECS实例的数据库。对比项 数据迁移 数据同步 适用场景 主要用于上云迁移，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
源库信息 选择已有连接信息 若您需要使用 已录入系统（新建或保存）的数据库实例，请在下拉列表中选择所需的数据库实例，下方的数据库信息将自动进行配置。说明 DMS控制台的配置项为 选择DMS数据库实例。若您未将数据库实例录入到系统，或...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...