跨账号跨地域迁移海量小文件

简介: 分享一个阿里云上跨账号跨地域迁移海量小文件的技巧。

海量小文件的数据迁移一直以来都是一个令人头痛的问题。这不,前两天我的一个同事就遇到了这样的一个问题。我们集团负责做高教业务的部门在阿里云华北1地域有一台使用了很长时间的服务器,上面有海量的小文件。集团要做账号整合,这台服务器不准备继续续费使用,要把里面的数据迁移到一个新的阿里云账号下,而且新服务器的地域是华北3。

要解决的问题就是要跨账号、跨地域、迁移海量的小文件。

我们知道在网络可达的情况下,可以组合nc和tar命令来应对大量小文件的迁移。但现在的问题是不仅跨账号还跨了地域,所以没有高速的内网可以使用,通过公网传输的话带宽又不够,只能临时升级两头服务器的带宽。当然还可以使用阿里云的云企业网打通两个账号的内网,但跨地域的云企业网需要购买带宽包,反正通过网络进行数据迁移就是没有办法做到又快又便宜。

其实还有一种几乎免费的办法,而且针对海量的小文件特别有效。

第一步、我们先确认一下要迁移的源服务器的情况:
1

这个服务器有一个系统盘,一个数据盘,数据盘上有大约100多万个文件。

第二步、用源服务器制作一个镜像,因为源服务器包含数据盘,因此要制作的是包含所有磁盘的镜像,不能只针对系统盘制作镜像。
2

第三步、将镜像复制到目标地域,我这里测试环境的源地域是华北3,目标地域是华北2。
3

第四步、将镜像管理控制台切换到目标地域,等镜像复制完毕。
4

第五步、点击共享镜像,输入目标账号的UID,共享镜像给新的账号。
5

第六步、进入目标账号的镜像管理,就可以看到目标地域下共享过来的镜像。点击创建实例就可以得到一个同源服务器一模一样的服务器。
因为镜像包含数据盘,因此在创建新实例时必须包含数据盘,但数据盘的大小可以根据需要自己灵活指定。
6

第七步、等新实例启动完毕,确认一下目标服务器的状态是否和源服务器一致。
7

一百多万个文件成功从账号A的华北3地域复制到了账号B的华北2地域。
跨地域复制镜像的流量费目前由阿里云承担,只需要账号A付少量的镜像存储费,目前按量计费每月每G是0.12元,迁移完成就可以删除镜像,迁移一次的花费通常不会超过一毛钱。

所以说这是一种几乎免费的方法。

目录
相关文章
|
5月前
|
弹性计算 监控 网络安全
使用云企业网实现跨地域跨VPC的网络互通的评测
使用云企业网实现跨地域跨VPC的网络互通
110 1
|
6月前
|
存储 负载均衡 容灾
同地域跨可用区容灾的解决方案
同地域跨可用区容灾的解决方案
|
11月前
|
弹性计算 运维 数据中心
运维编排系列场景--跨账号跨地域实例操作系统补丁修复
运维编排(OOS) 简介什么是OOSOperation Orchestration Service,简称OOS,是全面、免费的云上自动化运维平台,提供运维任务的管理和执行。典型使用场景包括:事件驱动运维,批量操作运维,定时运维任务,跨地域运维等,OOS为重要运维场景提供审批,通知等功能。OOS帮您实现标准化运维任务,从而实践运维即代码(Operations as Code)的先进理念。关于OOS更
396 0
|
存储 运维 容灾
阿里云跨可用区备份容灾解决方案详解
本文结合阿里云的可用区资源及功能延展了一种更新的跨可用区容灾解决方案,并选型了一款对企业来说性价比较高的产品进行分析分享,希望对大家有帮助。
|
运维 API 数据安全/隐私保护
资源中心 - 助您轻松解决跨账号、跨产品、跨地域的资源搜索难题
资源中心为您提供跨账号、跨产品、跨地域的全局资源视图及资源搜索能力。
5392 0
资源中心 - 助您轻松解决跨账号、跨产品、跨地域的资源搜索难题
|
域名解析 弹性计算
阿里云 ECS跨账号迁移服务器记录
阿里云 ECS跨账号迁移服务器记录
331 0
|
DataWorks 关系型数据库 MySQL
4.独享数据集成资源组与 rds 实例 vpc 网络打通指导|学习笔记
快速学习4.独享数据集成资源组与 rds 实例 vpc 网络打通指导
291 0
4.独享数据集成资源组与 rds 实例 vpc 网络打通指导|学习笔记
|
15天前
|
弹性计算 安全 网络安全
阿里云全球跨地域网络互通方案
随着企业客户上云的深入,越来越多的客户会选择在阿里云全球region多地部署其企业业务系统,以便其全球化业务的迅速开展。阿里云在云上有非常丰富云网络产品,来协助企业客户在全球region迅速构建云上多个地域的互联互通,帮忙企业客户快速实现业务上线。本章节为您介绍如何使用云企业网转发路由器CEN-TR(Transit Router),来实现客户本地多个不同城市数据中心IDC(Internet Data Center)和云上VPC跨地域互通互联。
58 0
阿里云全球跨地域网络互通方案
|
弹性计算 调度 文件存储
利用云企业网和混合云备份同步服务,实现NAS的跨区域复制
混合云备份服务(https://hbr.console.aliyun.com/)中的文件同步功能目前只支持同region之间的文件同步复制,但是利用云企业网,可以实现nas的跨region复制功能,在本文中,将step by step的演示整个配置的过程。
利用云企业网和混合云备份同步服务,实现NAS的跨区域复制
|
弹性计算 DataWorks 关系型数据库
DataWorks百问百答65:如何获取数据源网络环境及独享资源绑定的专有网络信息?
如何获取数据源网络环境及独享资源绑定的专有网络信息
3653 0
DataWorks百问百答65:如何获取数据源网络环境及独享资源绑定的专有网络信息?