一分钟了解阿里云产品:数据传输

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 一、             概述   阿里云发布了很多产品,今天让我们一起来了解下数据传输(Data Transmission) 吧。   什么是数据传输呢?   阿里云数据传输支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数

一、             概述

 

阿里云发布了很多产品,今天让我们一起来了解下数据传输(Data Transmission) 吧。

 

什么是数据传输呢?

 

阿里云数据传输支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。 数据传输的底层数据流基础设施为阿里双11异地双活基础架构, 为数千下游应用提供实时数据流,已在线上稳定运行3年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。

 

 

那么,数据传输有什么优势呢?接下来让我来说说吧。

 

  • 数据传输支持同异构数据源之间的迁移同步,支持迁移订阅同步等多种传输方式,增量迁移可以实现应用无缝切换。

 

  • 数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。相对于传统的数据同步工具,数据传输服务的实时同步功能能够将并发粒度缩小到事务级别,甚至能够并发同步同张表内的数据,从而极大得提升同步性能。

 

  • 数据传输服务底层为服务集群,集群内任何一个节点宕机或发生故障,控制中心都能够将这个节点上的所有任务秒级切换到其他节点上,链路稳定性高达99.95%。数据传输服务内部对迁移同步链路提供7*24小时的数据准确性校验,快速发现并纠正传输数据,保证传输数据可靠性。数据传输服务各模块间采用安全传输协议及安全token认证,有效得保证数据传输可靠性。

 

  • 数据传输服务提供可视化管理界面,提供向导式的链路创建流程,用户可以在其控制台简单轻松得创建自己的传输链路。数据传输服务控制台展示了链路的传输状态及进度,传输性能等信息,用户可以方便管理自己的传输链路。

 

 

可能您会问到,“我处在什么样的应用或服务场景时,可以选择数据传输呢?”这里介绍下数据传输的常见应用场景:

 

  • 上云迁移
  •  数据库拆分
  •  本地灾备、异地灾备
  •  数据分析
  •  解决跨地区读延迟

 

通过我的介绍,希望大家能有所收获。

 

数据传输典型特性介绍:

https://www.aliyun.com/product/dts/?spm=5176.2066478.3.13.VnKETC

 

 

 

二、             技术点(数据传输五大热点技术问题分析)

 

在上一篇文章中,我们为大家介绍数据传输的概况,数据传输(Data Transmission)是阿里云提供的一种支持以数据库为核心的结构化存储产品之间的数据传输服务,它提供了数据迁移、数据订阅及实时同步等多种数据传输功能。使用数据传输服务实现数据一键上云的同时,您还可以轻松得构建安全、可扩展、高可用的数据架构。那在使用过程中,经常遇到的热门技术问题有哪些呢?

 

创建数据迁移任务:

https://help.aliyun.com/document_detail/dts/Getting-Started/data-migration.html?spm=5176.docdts/Getting-Started/Open-DTS-service.6.92.uLWroC

 

创建实时同步作业:

https://help.aliyun.com/document_detail/dts/Getting-Started/data-synchronous.html?spm=5176.docdts/Getting-Started/data-migration.6.94.UsgftV

 

创建订阅通道:

https://help.aliyun.com/document_detail/dts/Getting-Started/data-subscription.html?spm=5176.docdts/Getting-Started/data-synchronous.6.95.vxWuDI

 

库名不同的数据库之间的数据迁移:

https://help.aliyun.com/document_detail/dts/Best-Practice/Data-Migration-For-Databases-with-different-Ident.html?spm=5176.docdts/Getting-Started/data-subscription.6.130.ZNrxqD

 

利用数据订阅实现本地灾备:

https://help.aliyun.com/document_detail/dts/Best-Practice/Build-local-disaster-preparedness-with-Data-subscription.html?spm=5176.docdts/Best-Practice/Data-Migration-For-Databases-with-different-Ident.6.136.6benle

 

 

希望上面的内容,能够对大家有所帮助。

 

 

 

三、             体验(跨阿里云账号的ECS自建数据库迁移至RDS

 

下面我为大家来介绍下应用数据传输的相关体验。

 

 

DTS数据迁移任务,如果配置连接方式时,源实例选择ECS上的自建数据库,那么要求这个ECS实例跟目标RDS必须属于同一个阿里云账号。如果要实现某一个阿里云账号下的源ECS实例上的自建数据库迁移到另外一个阿里云账号下的RDS实例。那么源实例类型必须选择有公网IP的自建数据库。

 

 

本小节介绍如何利用DTS试下跨阿里云账号的ECS自建数据库迁移至RDS。

 

RDS实例数据库创建

在配置DTS迁移任务之前,待迁入数据库在目标RDS实例中必须已经存在。如果未创建,需要在RDS控制台创建。

658e4716cc60e9e4ac82fd4a0acb8f24e063deb4

 

 

 迁移账号创建

 

在配置迁移任务时,需要配置目标RDS实例的迁移账号,如果未创建迁移账号,那么在配置迁移任务之前,需要先在目标RDS实例中创建迁移帐号,并将要迁移的库的读写权限授权给上面创建的帐号。

ed7fcdecbdef2e54afc18c898ea4ecfabb5aa991

 

配置迁移任务

 

下面以将阿里云账号A下面的ECS实例上的自建数据库的库amptest1的数据迁移到另外一个阿里云账号B的RDS实例为例,介绍如何在DTS任务配置时实现跨阿里云账号的ECS自建数据库迁移至RDS。

 

1)  进入DTS控制台,点击创建迁移任务,正式开始任务创建。

e974f0ea39cd5e53eead88b01d10a27e37285341

 

2)  填写配置源及目标RDS实例的连接信息

70cf84fecb021361abd128948e31430973478a81

 

这里面源实例的实例类型需要选择“有公网IP的自建数据库”,源实例的主机名或IP地址填写ECS实例的公网IP

 

3)  选择迁移类型及迁移对象

 

3b768db1238e66cc20e50d44db22324ec4f1f4f5

 

在这个步骤需要配置要迁移的对象列表。 配置完后,进入迁移预检查

 

4) 预检查

3fb32d17f77e23d98f1f4de36edaab4839298348

 

当预检查通过后,可以启动迁移任务

 

5)  启动迁移任务

02a4f52f0e97f3eec2514361444d75349e317c7b

至此,完成跨阿里云账号的ECS自建数据库迁移至RDS的迁移任务配置。

 

如果您想详细了解数据传输,请访问:

https://help.aliyun.com/document_detail/dts/Best-Practice/Data-Migration-Between-ECS-And-RDS-belong-to-different-account.html?spm=5176.docdts/Best-Practice/Data-Migration-Between-RDS-instance-belong-to-different-account.6.133.vWEsOq



触发器存在情况下如何配置同步作业:

https://help.aliyun.com/document_detail/dts/Best-Practice/Config-Synchronous-Database-Trigger-Exists.html?spm=5176.docdts/Best-Practice/SDK-Failover.6.136.sRnnXI

 

 

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
28天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
1月前
|
存储 NoSQL 数据库
阿里云数据库Cassandra的产品价格
阿里云数据库Cassandra提供多地域服务,如中国、亚太、欧洲、美洲及中东。计费分为实例主机节点规格费和存储费用,实例价格因节点数和副本数而异,存储费用按挂载云盘计算。生产系统建议配置多节点以确保冗余。公网流量目前免费,具体收费时间未定。详细价格以购买页面为准。
422 3
|
3天前
|
物联网 云计算
电子好书发您分享《阿里云产品手册2024版》
**《阿里云产品手册2024版》电子书分享:** 探索阿里云最新产品与服务,涵盖云计算、物联网及安全等领域。降价优惠高达55%,详尽指南助你高效利用云资源。[阅读电子版](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.7424272ayuuPGu) ![阿里云手册](https://ucc.alicdn.com/pic/developer-ecology/cok6a6su42rzm_066de4cfe9654074b30718f57e8e27f4.png)
18 3
|
28天前
|
SQL 存储 API
阿里云实时计算Flink的产品化思考与实践【下】
本文整理自阿里云高级产品专家黄鹏程和阿里云技术专家陈婧敏在 FFA 2023 平台建设专场中的分享。
110755 86
阿里云实时计算Flink的产品化思考与实践【下】
|
9天前
|
API
阿里云微服务引擎及 API 网关 2024 年 3 月产品动态
阿里云微服务引擎及 API 网关 2024 年 3 月产品动态。
|
10天前
|
安全 云计算
电子好书发您分享《阿里云产品手册2024版.阿里云产品手册2024版》
**《阿里云产品手册2024版》电子书分享:** 探索阿里云最新技术与服务,涵盖云计算、安全、移动研发等领域,详尽指南助您高效上云。[阅读链接](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.176b272aLerqlg)
25 1
|
14天前
|
云安全 数据采集 安全
阿里云安全产品,Web应用防火墙与云防火墙产品各自作用简介
阿里云提供两种关键安全产品:Web应用防火墙和云防火墙。Web应用防火墙专注网站安全,防护Web攻击、CC攻击和Bot防御,具备流量管理、大数据防御能力和简易部署。云防火墙是SaaS化的网络边界防护,管理南北向和东西向流量,提供访问控制、入侵防御和流量可视化。两者结合可实现全面的网络和应用安全。
阿里云安全产品,Web应用防火墙与云防火墙产品各自作用简介
|
16天前
|
消息中间件 人工智能 监控
|
24天前
|
消息中间件 Cloud Native Serverless
飞天发布时刻丨阿里云 ApsaraMQ 全面升级,携手 Confluent 发布全新产品
阿里云在3月29日的飞天发布时刻宣布ApsaraMQ全面升级,实现全系产品Serverless化,与Confluent合作推出新产品,强化云原生消息队列服务。
|
1月前
|
存储 弹性计算 Serverless
什么是阿里云FPGA云服务器?FPGA云服务器产品优势及应用场景介绍
FPGA云服务器是阿里云提供的实例规格,融合现场可编程门阵列的低延迟硬件加速与弹性资源。FaaS平台简化了FPGA开发,提供统一硬件、开发环境和丰富的IP生态。特性包括硬件虚拟化、联合仿真和动态互联配置。产品计费与ECS一致,支持多种计费模式。优势在于分钟级交付、高性能加速、经济性价比和设计复用。应用广泛,如视频转码、人工智能、基因测序等。FPGA云服务器通过FPGA镜像、OSS服务等工具进行管理。
什么是阿里云FPGA云服务器?FPGA云服务器产品优势及应用场景介绍

热门文章

最新文章