本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
支持的数据源 当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、Elasticsearch等，支持的数据源类型和操作指导链接如下。去向数据源 来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB ...
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用...
本文为您介绍如何通过DataHub迁移日志数据至MaxCompute。前提条件 授权访问MaxCompute的账号已开通以下权限：MaxCompute中项目的CreateInstance权限。MaxCompute中表的查看、修改和更新权限。授权操作详情请参见 MaxCompute权限。背景信息 ...
数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据迁移、数据库拆分、扩容等业务场景。您可以参考以下流程进行迁移前的准备工作、以及购买、配置和管理数据迁移项目。完成准备工作。数据...
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
启动数据迁移项目 配置数据迁移项目时，如果在预检查完成后仅保存该数据迁移项目，未进行启动，则需要在迁移项目列表中手动启动数据迁移项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击未...
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
数据迁移流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据迁移的操作，您需要经历如下步骤。操作流程 说明 1.准备工作概览 在使用DTS迁移数据前，您需要对源或目标数据库做一些准备工作，以满足DTS对环境的要求。2....
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
本文为您介绍如何引用和清空已有数据迁移项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据迁移项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击未配置的目标...
DTS数据迁移只对增量迁移的正常运行时间计费，结构迁移及全量数据迁移免费。当数据迁移任务处于未配置、未启动、结构迁移中、全量迁移中、失败及完成状态不计费。数据迁移按照增量数据迁移的正常运行时间计费，不同规格单价参考 产品定价。
本文为您介绍如何结束和释放不再需要维护源端和目标端的数据迁移项目。结束数据迁移项目 结束数据迁移项目后，数据传输仍保留当前项目的源端、目标端、迁移对象、监控和告警等配置信息。您可以根据业务需求，选择清空项目配置后重新配置...
本教程讲解如何将阿里云对象存储OSS的数据迁移至LocalFS。概述 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在LocalFS与OSS之间、LocalFS之间和对象存储...
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。收费策略 DTS数据迁移涉及...
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
如果目标RDS MySQL的规格较低（CPU核数低于2核）且待迁移的数据量较大时，建议您关闭RDS MySQL实例的慢日志以提升数据迁移的性能。前提条件 RDS MySQL实例的数据库版本为5.6、5.7或8.0。背景信息 DTS在将数据迁移至目标RDS MySQL时，会在...
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 提供了多种数据迁移方案，包括自建Redis数据库迁移上云、云数据库Redis版 实例间的数据迁移、其他云Redis数据迁移到阿里云等，满足多种业务场景下Redis数据迁移的需求...
等待系统迁移成功后，单击 查看大屏 即可进入迁移到新版数据大屏的编辑页。或单击我的可视化页面右上角的 进入新版，查看迁移后的大屏。说明 您也可以单击 编辑 进入可视化应用编辑页，单击页面右上角的 迁移新版 完成迁移。
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
问题描述 阿里云数据传输服务DTS在进行数据迁移过程中，检查目的数据库的账号权限是否满足迁移要求时，“目的库权限检查”检查项预检查失败。问题原因 目标数据库的账号没有足够的权限进行数据迁移任务。解决方案 为保障数据迁移任务的顺利...
问题描述 阿里云数据传输服务DTS在进行数据迁移过程中，“源库权限检查”检查项预检查失败。问题原因 源数据库的数据库账号没有足够的权限进行数据迁移任务。解决方案 为保障数据迁移任务的顺利执行，DTS在预检查阶段会对数据迁移任务中...
社区版Redis集群版通常会涉及到数据节点弹性扩缩容、分片间的数据迁移等需求，但业界常见的扩缩容方案仍存在一些问题，例如按Key迁移速度慢、不支持多Key命令、Lua脚本无法迁移、大Key迁移出现卡顿甚至引发高可用切换、迁移失败回滚复杂等...
社区版Redis集群版通常会涉及到数据节点弹性扩缩容、分片间的数据迁移等需求，但业界常见的扩缩容方案仍存在一些问题，例如按Key迁移速度慢、不支持多Key命令、Lua脚本无法迁移、大Key迁移出现卡顿甚至引发高可用切换、迁移失败回滚复杂等...
在数据迁移任务执行的过程中，您通过控制台查看结构迁移、全量数据迁移或增量数据迁移的执行情况和具体进度。前提条件 已启动数据迁移任务。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在...
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
为最大化地减少数据迁移对业务的影响，您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务，且数据迁移任务处于 迁移中 或 已完成 状态，配置案例请参见 迁移方案概览。注意事项 由于执行业务切换操作需要停止...
对于需要停止或迁移失败（不再需要）的任务，您可以结束数据迁移任务，避免源数据库的数据覆盖写入至目标数据库中。前提条件 数据迁移任务处于 迁移中、已暂停、迁移失败 状态。影响 结束数据迁移任务后，数据迁移任务将处于 已完成 状态，...
使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储OSS之间进行灵活的数据迁移。使用在线迁移服务，您只需在控制台填写源数据地址和目标OSS地址信息，并创建迁移任务即可。启动迁移后，您可以通过控制台...
创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的UDTF的jar包，如 mma-udtf.jar。执行以下命令上传 mma-udtf.jar 至HDFS。hdfs dfs-put-f mma-udtf.jar hdfs:/tmp/使⽤Beeline或Hive命令登录Hive、创建Hive UDTF。DROP ...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
全量数据迁移：待迁移对象的SELECT权限。增量数据迁移：待迁移对象的SELECT权限。REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW。建库建表的权限，以允许DTS创建库dts，用于记录迁移期间的心跳数据。为自建MySQL创建账号并设置binlog ...
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
本文为您介绍配置数据迁移或数据同步项目时，如何自定义配置增量同步中的 DDL 和 DML 同步。背景信息 您在配置数据迁移或数据同步项目时，如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步，则会默认支持 DML 同步，您可以自定义...
重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放处于非活跃状态超过 7 天的数据迁移项目，以回收相关资源，建议您为项目配置告警并及时...
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
数据传输支持下载数据迁移项目的迁移对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认迁移对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。导入对象功能通常适用于百+对象进行批量重命名和设置操作。下载对象...
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
数据迁移 使用场景 文档链接 从RDS迁移至 PolarDB 一键升级RDS MySQL至PolarDB MySQL版（平滑迁移，推荐）一键克隆RDS MySQL至PolarDB MySQL版 PolarDB 间的数据迁移 PolarDB MySQL间迁移 从其它数据库迁移至 PolarDB 自建MySQL迁移至...