使用redis-cli
工具连接自建Redis数据库。说明 安装原生Redis即可使用redis-cli，详情请参见 Redis社区版官网。redis-cli-h<host>-p<port>-a说明<host>：自建Redis数据库的访问地址，本机可使用127.0.0.1。自建Redis数据库的服务...
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
对于表级别的数据同步，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行...
使用redis-cli
工具连接自建Redis数据库。说明 安装原生Redis即可使用redis-cli，详情请参见 Redis社区版官网。redis-cli-h<host>-p<port>-a说明<host>：自建Redis数据库的访问地址，本机可使用127.0.0.1。自建Redis数据库的服务...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
在数据同步时，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。特殊情况 当源库为自建MySQL时：在...
如迁移对象为单个或多个表（非整库），那么在数据迁移时，勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
在数据迁移期间，请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。在数据迁移期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。DTS会在源库定时执 CREATE ...
在数据同步期间，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在数据同步期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。DTS会在源库定时执 CREATE ...
对于表级别的数据同步，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行...
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行...
其他限制 请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取这两类列的值。如果没有明确定义其精度，DTS默认对...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
在数据迁移期间，请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。在数据迁移期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。若RDS MySQL实例已开通全密态...
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
说明 各个工具的配置参数名称略有不同，请根据实际参数配置。参数 说明 连接类型 为保证日志传输安全性，连接协议必须为SASL_SSL。hosts 初始连接的集群地址，格式为 project名称.Endpoint，请根据Project所在的Endpoint进行配置。更多信息...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
在数据同步期间，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致任务失败。在DTS同步期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。若RDS MySQL实例已开通全密态...
在数据同步期间，请勿使用pt-online-schema-change等类似工具对源库的同步对象进行在线DDL变更，否则会导致任务失败。在DTS同步期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。若RDS MySQL实例已开通全密态...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。若在DTS同步数据期间，有除DTS同步任务外的数据写入目标库，则会导致源库与目标库数据不一致。例如，使用DMS执行在线DDL变更，可能引起...
parallelism 20-tmp 指定在使用DistCp工具的过程中，用于存放临时文件的目录。tmp/tmp-hadoopConf 指定拥有访问OSS权限的AccessKey及Endpoint。hadoopConf fs.oss.accessKeyId=yourkey-hadoopConf fs.oss.accessKeySecret=yoursecret-...
准备迁移工具 您可以通过Hadoop社区标准的Distcp工具实现全量或增量的HDFS数据迁移，详细的Distcp工具使用说明请参见 Hadoop Distcp 工具官方说明文档。自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，...
迁移集群上安装的Hadoop版本不低于2.7.2。说明 如果原集群满足上述条件且计算资源充足，可以直接将原集群当作迁移集群使用，不必额外创建新集群。在迁移集群中配置 文件存储 HDFS 版 实例。具体操作，请参见 挂载文件存储HDFS版文件系统。...
概述 X2Doris是将各种离线数据迁移至 云数据库 SelectDB 版 的核心工具，该工具集 自动建表 和 数据迁移 为一体，目前已支持Doris、Hive、Kudu、StarRocks、ClickHouse数据库迁移至 云数据库 SelectDB 版。整个过程通过可视化平台进行操作...
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
问题描述 Dataphin管道任务运维...问题原因 由于hive使用的是 hadoop 的 HDFS（hadoop 的分布式文件系统），但是某个HDFS文件，做了特殊权限，导致写入失败。解决方案 检查该HDFS文件的权限，确保用户对该HDFS文件有写入权限。适用于 Dataphin
DLA Spark工具包兼容了Hadoop的资源配置能力，如果您指定了driver和executor的CPU和Memory，会被自动转换为大于所指定CPU和Memory的最小资源规格。例如，当 executor_cores=2、executor_memory=5 G时，则会被转换为 spark.executor....
E-MapReduce集群由多个不同类型的实例...当集群计算能力不足时，您可以随时通过计算实例节点快速给集群增加额外的计算能力，例如Hadoop的MapReduce任务和Spark Executors等。计算实例节点可以随时新增和减少，并且不会影响现有集群的运行。
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
HDFS数据迁移 Distcp工具同步数据 HDFS数据迁移可以通过Hadoop社区标准的 DistCp工具 迁移，可以实现全量和增量的数据迁移。为减轻现有集群资源压力，建议在新旧集群网络连通后在新集群执行 distcp 命令。全量数据同步 hadoop distcp-...
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 文件存储 HDFS 版 作为defaultFS，从而获得 文件存储 HDFS 版 带来的超越原始HDFS的功能和性能优势。更多信息，请参见 安装文件系统SDK、SDK示例。
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
本文为您介绍如何使用Python提交Hadoop...说明 hadoop-streaming-X.X.X.jar 中的 X.X.X 表示JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。您可以在/usr/lib/hadoop-current/share/hadoop/tools/lib/目录下查看JAR包具体版本号。
说明 您也可以在DTS控制台的 ETL 页面，单击 去DMS创建流式ETL。单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的...
ErrCode String InvalidJobId 传入的ETL任务ID错误，找不到对应的任务。ErrMessage String The specified dts job id%s is not exists.传入的ETL任务ID错误，找不到对应的任务（任务可能已删除）。EtlRunningLogs Array of EtlRunningLog ...