服务器数据同步软件

_相关内容

使用数据传输同步数据

数据同步能够保持源端和目标端的数据一致性,实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例,介绍如何使用数据传输同步数据。前提条件 在同步数据之前,您需要确认以下信息:数据传输已具备云资源访问权限...

新功能发布记录

2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...

批量新增离线数据同步任务

数据同步支持离线同步任务的批量创建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例,介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源,具体操作,请参见 新建数据源。...

批量新增离线数据同步任务

数据同步支持离线同步任务的批量创建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例,介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源,具体操作,请参见 新建数据源。...

新增同步对象

DTS支持在数据同步的过程中新增同步对象,无需重新配置同步任务,以在降低对业务影响的情况下变更同步对象。本文将介绍新增同步对象的操作流程。重要 本文为旧版控制台的操作流程,若您使用的是新版控制台,操作流程请参见 修改同步对象。...

实时同步能力说明

DataWorks为您提供的实时数据同步功能,方便您使用单表或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务,您需要保存、...

数据上云场景

数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步:可以选择DataWorks,支持的数据库种类丰富,包括MySQL、SQL Server、PostgreSQL等,详情请参见 通过向导模式配置...

修改告警

数据传输支持修改已启动告警监控功能的数据迁移和数据同步项目的告警监控设置。本文以数据迁移项目为例,为您介绍如何修改告警监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏,单击 数据传输>数据迁移。如果您需要设置数据同步...

数据集成:全领域数据汇聚

DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步,以及离线和实时一体化的全增量同步...

数据上传下载成本优化

合理利用ECS的公共下载资源 如果您的ECS使用包月资源,可以使用Tunnel等数据同步工具,将MaxCompute数据同步到ECS,然后下载到本地。详情请参见 导出SQL的运行结果。Tunnel文件上传优化 小文件会消耗更多计算资源,建议当文件量积累较大时...

同步时源库为PolarDB MySQL版的注意事项及限制

如果同步的源集群为 PolarDB MySQL版,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案,查看同步任务的注意事项及限制:说明 DTS默认...

常见问题

数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线(-)会报错吗?由于ADB中不允许数据库名、表名或者列名中含有划线(-),为保证数据同步成功,系统会将中划线(-)映射为下划线(_)。如果在数据同步过程中遇到其他因数据...

查看和修改同步对象

本文为您介绍如何在数据传输中查看和修改已配置的数据同步项目的同步对象。背景信息 数据同步项目在同步过程中,满足限制条件的情况下,您可以增加或减少同步对象。每一次运行的修改行为都会被记录。当增加对象任务执行完成后,会与关联的...

单向同步升级至双向同步

前提条件 数据同步任务的源和目标数据库实例为支持双向同步的数据库类型和版本。例如,源和目标数据库均为8.0版本的 MySQL。更多信息,请参见 同步方案概览。数据同步任务的同步拓扑为 单向同步。数据同步任务的状态为 运行中。费用说明 如...

新建 Oracle 数据

配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏,单击 数据传输>数据源管理。在 数据源列表 页面,单击右上角的 新建数据源。在 ...

创建MySQL to MaxCompute离线同步周期任务

在左侧导航栏,单击 图标,将鼠标悬停在 离线数据同步 上,单击 图标。在 离线数据同步 页面,单击 新增任务。在 离线数据同步 管理 页面,配置离线同步周期任务。填写基本信息,任务名称“信用卡客户数据上云_d”。在 源端配置 区域,选择...

创建云ClickHouse分析实例

背景信息 云ClickHouse分析实例会自动通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到 云数据库ClickHouse 中,利用其强大的分析性能解决多维聚合实时分析问题。说明 关于MaterializeMySQL引擎,请参见 MaterializeMySQL引擎。...

新建数据

数据同步前,需要准备好数据源作为数据源端或目标端。您可以通过新建数据源,供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在...

SQL 条件过滤数据

本文为您介绍创建数据迁移或数据同步项目时,选择迁移或同步对象后通过 SQL 条件过滤数据的适用场景、使用限制和操作步骤。适用场景 创建数据迁移或数据同步项目时,您可以设置 SQL 过滤条件来过滤数据。完成设置后,只有满足过滤条件的...

独享数据集成资源组

例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见 离线同步能力说明。支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见 实时同步能力说明。提供一系列同步解决方案。例如,整库离线数据同步,单表或...

离线同步数据质量排查

背景信息 讲述数据集成数据同步的原理机制,理解数据同步的过程,进而对数据同步的执行效果有判断能力,判断数据同步效果具体包括:数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job,...

数据同步

数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力,系统提供完善的数据接入配置、任务运行监控等功能,有效保障数据接入的稳定性和可控性,满足各类平台、数据源及应用系统间的数据汇聚需求。前提条件 已根据快速入门教程...

新建数据

数据同步前,需要准备好数据源作为数据源端或目标端。您可以通过新建数据源,供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面...

概览

AnalyticDB PostgreSQL版 提供多种数据迁移方案,可满足不同的数据同步或迁移的业务需求,您可以在不影响业务的情况下,平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...

通过数据同步功能同步SLS数据至数仓版

通过 AnalyticDB for MySQL 的数据同步功能,您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版(3.0)集群,以满足日志数据实时分析的需求。前提条件 数仓版(3.0)集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...

设置告警

数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后,您可以对单个项目设置告警监控,也可以选择多个项目进行批量操作。本文以数据迁移项目为例,为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...

出错提示S3磁盘分区数据同步出错

本文主要介绍在使用SMC迁移时,迁移任务出错提示“S3磁盘分区数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时,迁移任务出错提示“S3_*磁盘分区数据同步出错”。其中S3_*可能的错误码如下:S3_F30 S3_F32 S3_F6 S3_...

Amazon Redshift数据

Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...

数据同步作业怎么更改同步源实例

数据同步支持重新配置同步作业,如果您需要修改同步作业的源实例,那么可以使用 重新配置任务 功能,重新配置同步作业。

配置Oracle输入组件

同步Oracle数据源的数据至其他数据源的场景中,您需要先配置Oracle输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。操作步骤 请参见 通过离线单条管道配置集成任务,进入离线管道脚本的开发...

离线同步能力说明

功能概述 离线同步支持的能力如下图所示:功能 描述 异构数据源间的数据同步 数据集成目前支持40+数据源类型,包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源,并通过数据集成提供的...

Redis数据同步方案概览

借助数据传输服务DTS(Data Transmission Service),云数据库Redis版 为您提供了丰富数据同步方案,可适用于同步上云、数据异地多活、数据容灾、数据分析等多种业务场景。DTS介绍 DTS 是阿里云提供的实时数据流服务,集数据迁移、订阅、...

增量数据同步

通过选择已注册的数据源端数据和目标端,实现增量任务自动建表的方式创建离线同步周期任务,本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心(xxzx)”,具体操作,请参见 新建工作...

StarRocks数据

StarRocks数据源为您提供读取和写入StarRocks的双向通道,本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS:StarRocks 2.1版本。详情请参见:StarRocks...

新增实时任务

数据同步支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。前提条件 已存在对应数据源,具体操作,请参见 新建数据源。已完成源端数据和目标...

集成与开发概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息,请参见 离线集成概述。离线集成是一种低代码的数据开发工具,...

新增实时任务

数据同步支持实时同步任务的新建,并支持一键启动多个上云任务,实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例,介绍如何新增实时任务。前提条件 已存在对应数据源,具体操作,请参见 新建数据源。已完成源端数据和目标...

修改数据同步的附加列规则

DTS在将数据同步到DataHub或MaxCompute时,会在同步的目标表添加一些附加列,用于元数据管理、排序去重等。如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败,为避免出现此类问题,您可以修改同步附加列的命名规则。背景信息...

通过数据同步功能同步SLS数据至湖仓版

通过 AnalyticDB for MySQL 的数据同步功能,您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版(3.0)集群,以满足日志数据实时分析的需求。前提条件 湖仓版(3.0)集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...

利用DataWorks将数据迁移到TSDB

实际效果如图 2 所示:按照图 4 中的三个步骤,完成数据同步任务的创建:图 4:创建数据同步任务 在弹窗中填入数据同步任务名(例如:node1)。实际效果如图 5 所示:图 5:数据同步任务名 数据同步任务创建成功之后,可以在右边空白处看到...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用