您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
说明 数据迁移在某些场景下可实现部分数据同步的功能，但数据同步的网络稳定性更好、功能更丰富，推荐您使用数据同步功能。更多区别，请参见 数据迁移和数据同步的区别是什么。迁移链路均支持跨地域的任务。是否支持创建跨阿里云账号的迁移...
本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于...
但在使用数据库的过程中，可能会由于前期规划不足、不规范的数据写入及突发的访问量，造成数据量倾斜或数据访问倾斜，最终引起数据倾斜。说明 数据倾斜通常是指大多数据分片节点的性能指标较低，而个别节点的性能指标较高的情况，高或低...
不开启（不推荐）：不开启托管需要频繁使用数据库账号和密码登录，可能会影响正常功能使用。数据库账号 当为实例开启安全托管，并是首次登录实例，则需要输入需要登录的数据库账号。说明 DMS将通过该账号对数据进行读、写或其他操作，请...
数据迁移流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据迁移的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS迁移数据前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的要求。2....
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
因此在使用数据服务前，请先开通 API网关。更多API网关信息，请参见 产品简介。使用场景 最小粒度的数据输出控制 当企业需要对外提供数据时，可以使用调用API的方式，该方式可帮助用户仅暴露最小单元的数据（可控制到行级、列级）。使用API...
在可视化应用中调用数据服务API：在组件的数据配置中，配置API数据源参数。操作步骤 添加DataWorks数据源。使用HTTP协议进入 DataV控制台，选择 我的数据>添加数据。单击 类型 下拉箭头，选择数据类型为 DataWorks数据服务。在 添加数据 ...
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，明细数据层的表通常也被称为事实逻辑表。汇总数据层（DWS，Data Warehouse Summary）：以分析的主题对象作为建模驱动，基于上层的...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
说明 若源端为DTS同步方案暂不支持的数据库类型（即在源端 数据库类型 中没有您数据库的选项），可以尝试使用数据投递功能。更多信息，请参见 数据投递。源为自建MySQL或RDS MySQL的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请如实填写公司信息），审批通过后即可访问数据湖构建的控制台。注意，子账号无法申请产品公测权限。数据湖构建如何收费？公测...
默认值为CHECKSUM，使用数据页的校验和进行验证。target_recovery_time_in_seconds 在发生故障时，数据库恢复所需的目标时间（秒）。默认值为60。compatibility_level 数据库与特定版本的兼容性级别。取值如下：100：Server 2008及更高版本...
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制实际业务中不同用户使用数据的权限，主要分为以下几种情况：超级管理员 拥有数据湖上数据的所有权限，以及分配权限给其他人员的能力。...
删除DBFS 删除数据库文件存储并停止计费 删除DBFS 修改DBFS实例规格 在使用数据库文件存储的过程中根据业务存储性能的要求，调整数据库文件存储的实例规格，实例规格越高，消耗的CPU和内存资源越多 实例规格说明 修改DBFS使用场景 在使用...
您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当的冗余，即宽表化处理。公共汇总粒度事实层：以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段来物理化...
数据安全共享场景：您可以通过控制密钥的所有权，管理数据使用权和数据访问的频次，实现数据安全共享，避免数据泄露。场景如下图所示：版本介绍 Spark全密态计算引擎分为 基础版和高性能版两个版本，区别如下：基础版：基础版的Spark全密态...
可以在仪表盘中使用数据集变量对数据进行筛选。定义变量 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。进入 数据分析 页面，单击 数据集 页签。选择目标数据集行，单击 操作 列下的 图标，进入编辑...
结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅客户端过滤所需的数据。说明 如果选择整个库作为订阅对象，那么该库中新增对象的增量数据也可以被订阅到。如果选择某个表作为订阅对象，那么只有这个表的增量数据...
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏后的数据保存到您选择的目标位置。动态脱敏：相对于静态脱敏，动态脱敏更加灵活，可以直接脱敏指定数据。每次脱敏的数据必须小于2 MB。前提...
详细操作步骤请参见 使用数据集成迁移数据至分析型数据库MySQL版。通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据导入分析型数据库MySQL版中，详细操作步骤请参见 使用kettle将本地数据导入分析型数据库MySQL版...
说明 如果使用数据服务过程中遇到问题，请单击 群邀请 加入DataWorks交流群|主群进行咨询。相关概念 API（Application Programming Interface，应用程序编程接口）：API是让应用、软件、系统能够面向数据源进行数据交互的接口，数据服务API...
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
重要 数据库审计实例需要与自建数据库或使用数据库的应用服务器（云服务器ECS）网络互通，建议选择与业务系统相同的地域。数据库审计服务支持的地域详情，请参见 支持的地域。系列 选择数据库审计版本。可选项：C100：采用日志服务（SLS）...
解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过溯源任务还原出可靠的水印信息，进而定位出可能的数据泄露责任人。建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非...
在使用数据源时，API、阿里云API网关和Open API这三种类型该如何选择？数据源类型 介绍 在DataV中的应用场景 API 通用的数据接口。如果您有直接可用的API，可使用DataV的API数据源连接。例如，已有站点提供的接口，或已购买的云服务搭建的...
单击 添加过滤器，可在 设置数据源 面板配置数据过滤器脚本，详情请参见 使用数据过滤器。数据响应结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看数据响应结果。交互面板 选中 启用，开启组件交互功能。当...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Redis迁移至 云原生内存数据库Tair 实例。DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...