单击 查看同步链路支持范围，可查看离线同步链路源端和目标端支持范围。在数据源下拉列表，单击 创建数据源，可在弹出的面板中新建云计算资源。数据表 选择待同步的数据表。在数据表下拉列表，单击 获取物理表，可获取最新物理表Meta信息。...
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看离线数据同步任务监控。前提条件 已上线离线数据同步任务，具体操作，请...跳转到 离线同步实例 页面，可查看同步任务运行详情，更多信息，请参见 查看离线计算实例详情。
单击 查看同步链路支持范围，可查看离线同步链路源端和目标端支持范围。在数据源下拉列表，单击 创建数据源，可在弹出的面板中新建云计算资源。数据表 选择待同步的数据表。在数据表下拉列表，单击 获取物理表，可获取最新物理表Meta信息。...
任务监控对发布上线的任务实现全链路监控和实例监控。本文介绍如何查看离线数据同步任务监控。前提条件 已上线离线数据同步任务，具体操作，请...跳转到 离线同步实例 页面，可查看同步任务运行详情，更多信息，请参见 查看离线计算实例详情。
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
问题描述 用户在使用离线管道任务同步数据的时候，报错“com.jcraft.jsch.JSchException: connection is closed by foreign host”。问题原因 系统SSH终端连接数配置过小，查看虚拟机该参数（该参数在/etc/ssh/sshd_config中配置，为...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以列表的方式展示离线计算任务信息，并提供运维、下线、删除的功能。离线计算实例：支持离线计算...
离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以列表的方式展示离线计算任务信息，并提供运维、下线、删除的功能。离线计算实例：支持离线计算...
离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以列表的方式展示离线计算任务信息，并提供运维、下线、删除的功能。离线计算实例：支持离线计算...
DataWorks支持您在 数据集成主站 新建整库离线同步方案，快速将来源数据源内所有表上传至目标数据源，帮助您节省大量初始化数据上云的批量任务创建时间。支持的数据源 当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、...
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
创建离线同步节点 在创建的业务流程基础上，创建离线同步节点。通过向导模式配置并运行数据同步任务 或 通过脚本模式配置并运行数据同步任务 以可视化或脚本模式配置并运行离线同步任务。确认同步结果 在目标数据源侧确认数据同步结果。...
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
您可以通过DataWorks的离线同步任务，快速的将各种数据源中的数据离线同步到阿里云ES。支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云...
您可以通过DataWorks的离线同步任务，快速的将各种数据源中的数据离线同步到阿里云ES。支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云...
本文介绍通过DataWorks的数据集成服务快速将ES实例中的数据离线同步到阿里云ES Serverless应用中。准备工作 创建阿里云ES实例。具体操作，请参见 创建阿里云Elasticsearch实例 和 配置YML参数。创建阿里云ES Serverless应用。具体操作，请...
您可以通过DataWorks的离线同步任务，快速的将各种数据源中的数据离线同步到阿里云ES。支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云...
您可以通过DataWorks的离线同步任务，快速的将各种数据源中的数据离线同步到阿里云ES。支持同步的数据源包括：阿里云云数据库（MySQL、PostgreSQL、SQL Server、MongoDB、HBase）阿里云PolarDB-X（原DRDS升级版）阿里云MaxCompute 阿里云...
支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并...
离线同步任务使用独享传输资源 单表离线同步任务使用独享传输资源 进入数据开发界面，打开或新建离线同步任务节点，在MaxCompute数据源的 Tunnel资源组 属性中，选择独享传输资源组。Tunnel资源组 默认值为公共传输资源组。如果您没有可用...
版本 入门版 标准版 高级版 产品定价 59元/月 500元/月 3000元/月 每日任务实例数（默认）300个/天 1000个/天 10000个/天 自定义计算资源 支持 支持 支持 支持数据同步类型 离线同步 离线同步 实时同步 配置化同步 离线同步 实时同步 配置...