背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移任务，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。数据传输支持将多个 ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
重要 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。查看上传记录 提交上传后，若数据量较大，需要耗费一些...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
只读实例 由于创建只读实例时会从备实例复制数据，数据与主实例一致，主实例的数据更新也会在主实例完成操作后立即自动同步到所有只读实例，因此您可以在主实例进行列加密配置。完成版本升级后，您需要在DSC控制台完成资产同步操作，同步...
数据与元数据传输：每个并行的子任务独立地从数据源拉取实际数据，先在目标项目创建对应的目标表/分区，再写入数据。数据校验（可选）：数据写入完成后，MMS支持执行数据校验步骤。比对源端和目标端的表/分区数据条数，初步验证数据的完整...
只读实例 由于创建只读实例时会从备实例复制数据，数据与主实例一致，主实例的数据更新也会在主实例完成操作后立即自动同步到所有只读实例，因此您可以在主实例进行列加密配置。如果已授权接入的PolarDB MySQL数据库的版本不是5.7或8.0，...
平台通过将业务数据沉淀为智能数据或智能算子，以可视化拖拉拽和简单图形化条件设定进行模型编排，支持离线、在线、实时全场景，采用简化建模过程、提高模型运行效能、融合智能化算法等方式帮助用户将数据与业务结合起来，不断积累和沉淀...
您可以选择按位置匹配或按名称匹配两种方式来匹配待上传的数据与MaxCompute表字段的对应关系。完成后，界面提示数据导入成功，即完成了从本地上传数据至MaxCompute表中，您可在临时查询页面中查看已上传的数据，操作请参见 创建临时查询。...
在需要将部分数据与第三方分享时，用户希望在不泄漏自身密钥的前提下完成加密数据的分享，同时满足合规要求。注意事项 加密规则在主地址上不生效，您需要使用集群地址或自定义集群地址。当前只支持普通的 COM_QUERY ，不支持 ...
数据安全中心 DSC（Data Security Center）支持对RDS MySQL、RDS PostgreSQL、PolarDB MySQL、PolarDB PostgreSQL、PolarDB PostgreSQL（兼容Oracle）、PolarDB-X 2.0等数据库类型的数据列进行加密配置，确保数据库中敏感列数据加密后存储...
如果修改后的区域数据与父组件区域范围无任何交集，无法看到配置后的子组件区域热力层内容。在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力...
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
Dataphin共享模式（全托管版）身份认证及访问控制 权限管控与隔离 敏感数据保护 变更管控 数据备份与删除 数据加密 数据传输加密 沙箱执行 日志审计 权限审计 Dataphin独享模式（半托管版）安全白皮书概述 安全责任共担 合规&认证 漏洞管理...
支持的源和目标数据库 数据集成支持的源数据库和目标数据库与数据迁移支持的数据库相同。数据集成的基本步骤 您可以通过以下步骤来创建和管理数据集成任务。步骤 说明 设置网络环境 在使用DTS进行数据集成之前，您必须确保DTS服务器可以...
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
同时开启检测响应和数据审计功能，并继续选择 检测响应&审计-OSS 与 检测响应&审计-数据库 额度，此额度对检测响应与数据审计功能同时生效。数据识别 当需要扩展敏感信息识别额度时，请开启此项，并继续选择 数据识别-数据库表数 与 数据...
该方案可以打破数据湖与数据仓库割裂的体系，并融合数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力，助力构建数据湖和数据仓库相融合的数据管理平台（本功能处于公测阶段）。概念说明 数据仓库与数据湖对比 类别 能力 数据仓库 ...
数据管理：可查看数据与数据的组织形式，例如：库表结构、数据大小、建表语句、表字段信息、数据预览等。数据集成：可连接阿里云上对象存储中的数据，进行数据湖连接，导入样例数据。权限设置：可管理数据库内的用户（账号）和角色，并对其...
说明 数据归档功能将以0时区进行数据归档与后置行为（与数据库实际时区无关）。可选：查看已归档数据。在DBS中将备份集创建数据湖。更多信息，请参见 创建数据湖。可选：将数据湖录入至DMS实例中。您可以在SQL窗口中进行数据查询，在任务...
数据服务层 基于 ADS 层输出统一的数据服务与应用，包括：商家增长分析 行业增长洞察 精准营销与用户运营 其他 BI、数据产品、数据 API 消费场景 通过标准化指标与数据模型，帮助业务部门更快获取所需数据，提高分析效率。
Delta数据湖方案如下：在大数据存储层之上提供了数据管理层，该数据管理层等同于数据库中的元数据管理，其元数据随着数据一起存放并对用户可见（例如 数据仓库与数据湖 所示）。Delta基于元数据管理引入了ACID，解决了因数据导入失败而产生...
应用场景 Lakehouse场景 Lakehouse结合了数据仓库与数据湖的优点，提供了一套能够处理多样化数据类型并保持高性能分析能力的架构。企业可以利用Lakehouse处理大量历史数据、实时数据及多种类型的数据。此外，处理后的数据可以作为共享资源...
附录：DataWorks 发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始，DataWorks与阿里巴巴业务共同发展，结合MaxCompute、Hologres等大数据计算引擎的能力，跨越多个技术阶段，支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团...
数据开发/数据地图与数据分析场景的工作空间统一管控，改变其中一个场景的工作空间脱敏启用设置，另外一个场景同步改变。Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes 查询数据时，...
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
MySQL Kafka Oracle PostgreSQL SQL Server 支持 支持 适用于实时数仓构建，且需流式计算与数据导入一体化的场景。通过Flink导入数据 Kafka 高吞吐管道：支持TB级数据缓冲，提供持久化与多副本机制，确保数据不丢失。Kafka 支持 支持 异步...
在使用Dataphin前，您可将需要...测试连接：您可以单击 连接信息 后的 测试，在 测试网络连接 对话框中，测试 公共调度集群 或 自定义集群 与数据源的连通性。③ 批量操作区 您可单击 开启批量删除模式，选择需删除的数据源，进行批量删除。
在使用Dataphin前，您可将需要引入...测试连接：您可以单击 连接信息 后的 测试，在 测试网络连接 对话框中，测试 默认集群 或 自定义集群 与数据源的连通性。③ 批量操作区 您可单击 开启批量删除模式，选择需删除的数据源，进行批量删除。
业务视角规划 业务分类、数据域与数据集市构成业务驱动的管理框架，通过划分数据归属领域（业务分类）、定义核心业务活动（数据域）、组织场景化数据服务（数据集市），实现从数据生产到消费的价值闭环；而数仓分层则是技术驱动的数据加工...
进入计量详情页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析与服务 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。单击页面上方的 服务管理，默认进入 API管理 页面。在左侧导航栏，单击 API计量 ...
您无需自行准备RDS MySQL云产品及数据，本实验为您提供公共的实验环境与数据。任务运维 使用DataWorks的 运维中心，周期性调度数据同步、清洗加工任务流程，获得每日的最新业务数据，同时可以监控每日任务运行的状态。数据治理 使用...
维度建模：维度建模支持逆向建模，解决现有数仓的建模冷启动难题，支持可视化数仓维度建模，支持通过Excel文件导入模型和通过FML（一种类SQL的DSL）快速构建模型，支持与数据开发DataStudio无缝打通，自动生成ETL代码。数据指标：数据指标...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 飞书多维表格URL 飞书多维...
本文为您介绍如何创建与管理 PolarDB PostgreSQL版 集群内的数据库。创建数据库 前往 PolarDB控制台，在目标集群的左侧导航栏中，选择 配置与管理 数据库管理。单击 创建数据库，并设置以下参数，确认无误后，单击 确定 创建数据库。参数 ...
本文为您介绍如何创建与管理 PolarDB PostgreSQL版（兼容Oracle）集群内的数据库。创建数据库 前往 PolarDB控制台，在目标集群的左侧导航栏中，选择 配置与管理 数据库管理。单击 创建数据库，并设置以下参数，确认无误后，单击 确定 创建...
业务分类、数据域与数据集市构成业务驱动的管理框架，通过划分数据归属领域（业务分类）、定义核心业务活动（数据域）、组织场景化数据服务（数据集市），实现从数据生产到消费的价值闭环。本文介绍 业务分类、数据域、业务过程、数据集市 ...
资源组与数据源网络已打通。详情请参见：网络连通配置。步骤一：新建离线同步节点 新版数据开发 登录 DataWorks控制台，切换至目标地域，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入Data Studio。...
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...