快速将企业海量文件数据迁移到阿里云OSS

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 对象云存储因为下面两个功能特性,得到了海量使用: 可以直接http调用 可靠、安全、按量使用阿里云OSS在各大云服务商中,通过可靠、高性价比的服务得到了大量用户的仁科。 企业用户在企业内部或者传统IDC机房中,累计了海量的文件数据,如何快速将TB级别甚至PB文件数据迁移到OSS,是一个IT挑战任务。

对象云存储因为下面两个功能特性,得到了海量使用:

  • 可以直接http调用
  • 可靠、安全、按量使用

阿里云OSS在各大云服务商中,通过可靠、高性价比的服务得到了大量用户的仁科。
企业用户在企业内部或者传统IDC机房中,累计了海量的文件数据,如何快速将TB级别甚至PB文件数据迁移到OSS,是一个非常挑战的任务。

方案介绍

下文介绍两种方案:

  • 方案1:在阿里云市场中购买阿里云OSS数据迁移服务

https://market.aliyun.com/products/52738004/cmfw000394.html?spm=5176.730005-52738004.0.0.MMvsLp#sku=90tb
这类服务公司具体实现技术方法是:
1)在公司机房拉一条专线通往阿里云机房;
2)给需要迁移数据的用户提供硬盘,用户把自己的数据拷贝到硬盘上,寄送给服务公司;
3)服务公司把硬盘上的数据导入阿里云OSS;
这种方法的优点是相对省事,缺点是硬盘快递实时性不够,另外还有数据安全上的风险。

  • 方案2:采用软件构建海量数据迁移系统

本文推荐使用 RaySync传输软件 + 阿里云CSG对象存储网关 组合方案来解决海量数据迁移问题,部署架构如下图:
screenshot

其中“RaySync传输软件”解决从企业公司或企业IDC到阿里云文件网络传输问题,“RaySync传输软件”对比“普通OSS文件”在网络传输速度上有巨大的优势,结合“CSG对象存储网关”可有效帮助企业简单、低成本构建1套快速迁移数据的IT系统。

安装配置

RaySync传输软件安装,可参考下面链接帖子描述:
https://bbs.aliyun.com/read/574561.html?spm=0.0.0.0.WQxTGZ
阿里云CSG对象存储网关配置使用,可参考
https://yq.aliyun.com/articles/399702?spm=a2c4e.11155435.0.0.632dcd91fchA6i

作者所在企业,采用“RaySync传输软件”+“CSG对象存储网关”,构建海量数据迁移系统,轻松完成数十TB的数据迁移工作。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
9天前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
JSON 文字识别 算法
C# 通过阿里云 API 实现企业营业执照OCR识别
C# 通过阿里云 API 实现企业营业执照OCR识别
|
2天前
|
JSON API C#
C# 通过阿里云 API 实现企业工商数据查询
C# 通过阿里云 API 实现企业工商数据查询
|
9天前
|
分布式计算 Java 大数据
MaxCompute产品使用合集之大数据计算MaxCompute外部表映射了oss中的csv文件,看到"\N"被解析为"N",是什么原因
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
9天前
|
运维 文字识别 Serverless
Serverless 应用引擎产品使用之在阿里云函数计算中,需要处理的文件大于100MB如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
128 5
|
10天前
|
缓存 运维 Serverless
Serverless 应用引擎产品使用之阿里函数计算中。将本地电脑上的项目文件部署到阿里云函数计算(FC)上并实现对外提供API和WebUI如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
29 1
|
10天前
|
运维 JavaScript Java
Serverless 应用引擎产品使用之阿里云Serverless函数计算中,在Node.js环境中执行jar文件如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
18 0
|
14天前
|
网络协议 对象存储
阿里云oss配置自有域名
阿里云oss配置自有域名
22 1
|
2月前
|
存储 安全 对象存储
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
本文详细介绍了怎样帮助新手小白从注册,购买阿里云OSS,到一步一步配置OSS做为图床,和PicGo、Typora软件连接,配置好关联之后,在使用Typora写文章时,如果需要插入图片,只需要将图片复制粘贴到Typora的编辑区域,就会自动通过PicGo上传到指定图床,自动复制外网能访问的URL并展示,简直不要太方便,极大的解决了编辑文章时复制处理图片链接的痛点。
245 2
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
|
2月前
|
弹性计算 前端开发 小程序
微信小程序上传文件至阿里云OSS直传(java后端签名+前端直传)
当前的通用文件上传方式是通过前端上传到服务器,再由服务器转存至对象存储。这种方式在处理小文件时效率尚可,但大文件上传因受限于服务器带宽,速度较慢。例如,一个100MB的文件在5Mbps带宽的阿里云ECS上上传至服务器需160秒。为解决此问题,可以采用后端签名的方式,使微信小程序直接上传文件到阿里云OSS,绕过服务器中转。具体操作包括在JAVA后端引入相关依赖,生成签名,并在微信小程序前端使用这个签名进行文件上传,注意设置正确的请求头和formData参数。这样能提高大文件上传的速度。

热门文章

最新文章