因为数据已经经过了局部聚合，所以需要网络传输的数据较少，网络压力较小。数据重分布完成后，执行最终聚合，在最终聚合节点，需要把一个分组的值及其聚合状态维护在内存中，直到所有数据处理完成，以确保某个特定的分组值没有新的数据需要...
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据公共建设的改造。避免出现过度的ODS层引用、不合理的数据复制和子集合冗余。总体...
准备工作概览 适用场景 传输数据所用的网络 需执行的准备工作 任务类型 配置时需选择的接入方式 源或目标库部署在本地，且具备公网地址。公网 添加DTS服务器的IP地址段 数据迁移 数据订阅 数据校验 公网IP 源或目标库部署在本地，但是不...
本文以升配数据迁移任务的实例规格为例，如果您需要升配数据同步任务的实例规格，单击 数据传输 数据同步，进入 同步任务列表 页面进行相应操作即可。在 迁移任务列表 页面，单击目标任务后的.升配。您也可以单击目标任务的名称进入详情...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据传输服务DTS（Data Transmission Service）将下线经典网络资源，并不再支持经典网络架构的云产品。背景信息 自2011年阿里云上线公共云服务以来，经典网络架构为云服务器提供了网络支撑，服务了海量云上客户。2014年，阿里云推出了全新...
ODS层表中的数据来源于OSS上的日志文件，作为源头表，您需要尽早判断此表分区中是否有数据。如果这张表中没有数据，则后续任务运行无意义，需要阻止后续任务运行。进入 数据质量 页面。在 数据开发 页面，单击左上角图标，选择 数据质量。...
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、业务过程等对所建模型进行分层化域管理。规划概述 在数据建模前，需由数仓架构师协同数据开发与模型设计团队，对企业业务及数据进行全面调研，明确...
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
但是这种方案带来的问题在于，DW层数据的新鲜度上会存在一定的延迟，为了避免反复更新DW层带来的读写放大，DW层的更新通常在ODS 层数据稳定后才进行，这导致通过DW层查询到的数据在业务日期上是存在滞后的。然而在有些场景中，业务方对查询...
以零售行业及关联的数据域为例，以下是业务分类、数据域和业务过程的关系：定义业务过程 在 数仓规划 页面的左侧导航栏，单击 公共层 业务过程，进入 业务过程 页面。单击 新建业务过程，在 新建业务过程 对话框，配置各项参数后，单击确定...
注意事项 经典网络的数据库实例暂不支持增量数据校验功能。开启多表归并的实例暂不支持数据校验功能。运行状态 为 已完成 的实例暂不支持数据校验功能。若待校验的表为无主键且无唯一索引的表，则该表的数据超过10000行时DTS将不会进行数据...
重要 您在 TiDB 数据库中配置的待订阅库表，需要和数据传输的数据迁移任务中配置的库表名保持一致。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 DataHub。配置各项参数。从 实例类型 下拉列表选择不同的 实例类型 后，下方会自动显示对应的表单。...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 ADB，并配置各项参数。参数 描述 数据源标识 建议使用中文、数字和字母的组合。名称中不能包含空格，...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 Oracle。配置各项参数。从 实例类型 下拉列表选择不同的 实例类型 后，下方会自动显示对应的表单。...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 PolarDB-O。配置各项参数。参数 描述 数据源标识 建议使用中文、数字和字母的组合。名称中不能包含...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 HBase，并配置各项参数。参数 描述 实例类型 目前仅支持 云实例 HBase 增强版。数据源标识 建议使用...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 PostgreSQL，并配置各项参数。参数 描述 实例类型 目前仅支持 RDS 实例。数据源标识 建议使用中文、...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 Lindorm，并配置各项参数。参数 描述 实例类型 目前仅支持 宽表引擎（仅支持 HBase 模式）。数据源...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 MySQL。配置各项参数。从 实例类型 下拉列表选择不同的 实例类型 后，下方会自动显示对应的表单。...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 PolarDB-X 2.0，并配置各项参数。参数 描述 实例类型 目前仅支持 阿里云 PolarDB-X 2.0 实例。数据源...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 PolarDB-X 1.0，并配置各项参数。参数 描述 实例类型 目前仅支持 阿里云 PolarDB-X 1.0 实例。重要 ...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框，选择 数据源类型 为 Kafka。选择 实例类型，配置各项参数。选择 阿里云 Kafka 实例 时，配置参数如下。阿里云 Kafka 实例的...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 RocketMQ。配置各项参数。参数 描述 实例类型 目前仅支持 阿里云 RocketMQ 实例。数据源标识 建议...
在左侧导航栏，单击 数据传输 数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，数据源类型 默认为 OceanBase。选择 实例类型，配置各项参数。选择的 实例类型 为 OceanBase 集群实例 时，配置下述参数...
例如，待传输的数据量在初始阶段较大而在后期趋于稳定，或者待传输的业务数据量不可预测的情况。若您的数据传输任务已完成，也可释放实例，详情请参见 释放实例。配置Serverless实例时 数据同步实例将从 增量数据采集 模块启动后，开始按...
若您的实例为没有增量任务的迁移实例，且传输的数据量较小，则可能会出现暂停失效的情况。数据同步实例暂停期间（无论数据库是否可以正常连接）仍然会收取费用。数据订阅实例不支持暂停，您可以根据实际情况选择释放实例。更多信息，请参见...
在左侧导航栏，单击 数据传输 数据源管理。数据源列表 页面为您展示所有已创建的数据源及其基本信息，包括 数据源标识、数据源类型、数据源来源、用户名 和数据源的 创建时间。您可以在操作列单击 测试连接，检查数据库的网络连接情况。...
数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时同步：DTS同步正在进行的数据变更，并保持源数据库和目标数据库的同步。...
如果您需要设置数据同步任务的告警信息，请单击 数据传输 数据同步。在 迁移任务列表 页面，单击目标任务后的 设置告警。如果您需要进行批量操作，请勾选多个目标任务，然后单击右下角的 批量修改告警配置。重要 批量修改告警配置将覆盖所...
热力层是三维城市地图的子组件，支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。热力层子组件能够使用热力网格点的形式表现地理位置上的点数据信息。本文介绍热力层配置项的含义。配置 热力层配置面板参数...
为了保证DataWorks中数据同步、数据调度等任务的顺利操作，还需要确保资源组绑定的VPC网络与数据源（目标网络环境下的数据库、数据服务或其他数据）之间的连通性，本文为您提供了不同网络环境下的网络连通解决方案。背景信息 DataWorks的大...
为了保证DataWorks中数据同步、数据调度等任务的顺利操作，还需要确保资源组绑定的VPC网络与数据源（目标网络环境下的数据库、数据服务或其他数据）之间的连通性，本文为您提供了不同网络环境下的网络连通解决方案。背景信息 DataWorks的大...
本文为您介绍云数据库 OceanBase 的数据传输服务的定价和计费说明。费用概述 云数据库 OceanBase 数据传输服务提供数据迁移和数据同步两种任务，不同任务的计费方式略有不同。数据迁移任务：目前仅支持后付费模式，即按量付费计费模式。...
重要 您必须先将对应区域的白名单IP地址添加到您的数据源白名单中，以确保DataV-Board能正常访问您的数据库。详情请参见 配置数据库白名单。通过内网添加数据源 登录 DataV控制台。在 工作台 页面，单击 数据准备 数据源，进入 数据源 页面...
数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。本文介绍MaxCompute的数据传输服务（包年包月）资源组的计费规则。背景信息 ...