说明 一个 数据识别规则 仅支持识别一种类型的数据，因此，建议您的每个样本库中存放同类型的数据。如果您需要使用样本库方式识别多个类型的数据，则需要配置多个样本库。例如，您需要识别员工姓名、家庭住址，则需要配置姓名样本库及家庭...
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
数据湖数据同步 如果数据在数据湖等外部系统中，可以在SelectDB中创建Catalog，映射到数据湖等外部系统中的数据，然后通过Insert Into Select将其中的数据导入到SelectDB表中。SelectDB支持对接Hive、Iceberg、Hudi、Elasticsearch、JDBC等...
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，默认按照Lindorm宽表的主键进行HASH分区，默认设置的分区数量为 搜索...
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
您可以在数据源管理页面，分享数据源权限给相应的工作空间，并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅...
本文介绍如何管理数据源。前提条件 已登录DataV-Atlas管理控制台。已进入项目编辑器页面。添加数据 单击页面左下角的 添加数据，打开数据库选择窗口。在 已有数据集 页签中，选择需要添加的数据库下的空间表后，单击 添加到项目。说明 您也...
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
需要重点关注的参数有：partitions：如果只有HASH分区，建议将分区数量 partitions 设置为较大的值，例如64、128等，可以使数据分布至更多的分区。数据查询时，如果查询语句通常会携带分区字段，那么系统只需要在某一个或某几个分区中查找...
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
扫描算子读取字段个数较多 问题 扫描算子会在 AnalyticDB MySQL版 的存储层进行数据的过滤和明细数据的读取，如果SELECT的字段个数较多，需要读取的明细数据也较多，那么就会占用较大的磁盘I/O资源，影响 AnalyticDB MySQL版 集群整体稳定...
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图...
同步MySQL数据源的数据至其他数据源的场景中，您需要先配置MySQL输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MySQL输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图...
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
同步TiDB数据源的数据至其他数据源的场景中，您需要先配置TiDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置TiDB输入组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输入组件属性...
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
其他限制 单个数据订阅任务只能订阅一个数据库，如需订阅多个数据库，您需要为每个数据库配置数据订阅任务。为保障订阅延迟时间展示的准确性，DTS会在源库中新增一个名为dts_postgres_heartbeat的心跳表。若您订阅的单行数据超过16MB，则不...
单个数据订阅任务只能订阅一个数据库，如需订阅多个数据库，您需要为每个数据库配置数据订阅任务。若您订阅的单行数据超过16MB，则不支持消费，否则可能会导致消费客户端内存OOM（Out of Memory）。请确认DTS对数据类型为FLOAT或DOUBLE的列...
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
X 1.0 支持分库分表，源 PolarDB-X 1.0 的某一DDL指令会在所有分表上执行对应的DDL操作，并且每个订阅子任务的进度并不一致，因此DTS的订阅数据可能陆续包含多条此DDL操作，如您多次消费此类DDL操作，可能会导致订阅客户端数据异常，建议您...
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
例如，每秒写入10次包含5,000个点的batch，每个点有4个field，那么values per second=每个点有4个field，每个batch有5,000个点，每秒写入10次=每秒写入200,000个值。相关术语：batch，field，point，points per second。wal（Write Ahead ...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle数据迁移至 RDS MySQL 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle...
批量数据计入脏数据：如果想要保证任务运行完成并可接受批量数据丢弃，可选择将批量数据计入脏数据，通过脏数据允许条数控制任务是否退出。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名...
本文介绍如何创建数据管理DMS（Data Management）逻辑库的数据订阅任务。前提条件 已配置数据管理DMS逻辑库，具体操作请参见 逻辑库。说明 数据管理DMS逻辑库需基于多个PolarDB MySQL实例的分库建立。注意事项 类型 说明 源库限制 待订阅的...
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同...
数据传输服务DTS（Data Transmission Service）支持Redis集群间的单向同步，适用于数据迁移、异地多活、数据异地容灾等多种应用场景。本文以自建Redis集群同步至阿里云Redis集群实例为例，介绍数据同步作业的配置流程。从阿里云Redis集群...
数据传输服务DTS（Data Transmission Service）支持Redis集群间的单向同步，适用于数据迁移、异地多活、数据异地容灾等多种应用场景。本文以自建Redis集群同步至阿里云Redis集群实例为例，介绍数据同步作业的配置流程。从阿里云Redis集群...
本文介绍如何创建 PolarDB分布式版 数据订阅任务。前提条件 已创建 PolarDB分布式版 实例和数据库，具体操作请参见 创建实例 和 创建数据库。说明 PolarDB分布式版 中的数据库须基于RDS MySQL创建，DTS暂不支持基于 PolarDB MySQL版 创建的...