利用云存储网关和混合云备份服务备份OSS数据

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。

随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。文章“混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案”介绍了基于云存储网关和混合云备份的一种方案进行数据的备份。近日云存储网关和混合云备份服务推出了升级版的方案,不再需要一台独立的ECS客户端去挂载网关共享,而是采用了存储网关和混合云备份服务后端打通的架构,给用户带来更好的体验以及更多的实惠。下面是一张简单的架构图。
_1

配置实战

笔者在上海区域有一个OSS Bucket想要进行备份。该Bucket里面有超过100万的文件,1T左右的数据量。下面我们通过具体的实践来展示如何通过云存储网关和混合云备份服务来对阿里云OSS Bucket里面的数据进行备份。
2

云存储网关配置

网关侧的配置很简单,在开通阿里云存储网关服务之后,我们创建一个标准型的文件网关(块网关以及基础型文件网关不支持这种全新的备份方案)。然后几分钟之内我们就可以通过两个简单的步骤在云存储网关控制台创建出一个NFS/SMB的文件共享。

首先是创建缓存。
3

缓存创建成功之后,就可以对需要备份的OSS Bucket创建共享了。共享里面的文件和OSS Bucket里面的对象存在一一对应的关系。这里我们创建的是NFS协议的共享,云存储网关也支持创建SMB协议的共享。这个取决于前端应用的访问方式,如果应用是在Windows上进行数据访问,则推荐用SMB协议。如果应用是基于Linux平台的,则推荐使用NFS协议来建立共享。

要对OSS数据进行备份,我们需要利用到云存储网关的反向同步功能。这个功能是指网关会同步已经存在于OSS Bucket里面的数据到网关缓存内,从而加速本地访问。所以这里在创建共享的时候我们打开了网关的反向同步功能。反向同步的时间间隔需要根据用户OSS Bucket里面的数据量来进行设置,如果OSS Bucket里面数据比较多,建议设置较大的反向同步时间间隔,避免反向同步消耗过多的网关侧的资源。笔者的Bucket里面有100万左右文件,这里设置了36000秒的反向同步时间间隔。
4

本文虽然主要是在讨论通过云存储网关的共享来备份OSS数据的功能,实际上网关暴露出来的共享是可以通过Windows和Linux挂载并正常使用的。更多的细节以及共享的选项设置参见云存储网关的文件网关用户手册

混合云备份配置

网关侧配置完成之后,首先我们将需要备份的网关共享注册到混合云备份服务。然后我们就可以利用混合云备份服务进行备份了。我们可以通过下图中的方法跳转到备份控制台进行网关注册。
5

也可以直接从混合云备份服务的控制台进行需要备份的OSS Bucket所对应的网关进行注册。按照提示走下去就可以顺利的完成云存储网关的注册了。
6

接下来我们就可以创建备份计划了,备份计划可以指定备份窗口进行数据的备份,备份窗口的执行间隔建议设置的比反向同步的时间间隔要大一点,这样可以保证每次备份的时候我们都会从OSS Bucket执行一次反向同步,获取到当前时间点OSS Bucket里面的最新数据。需要指出的是我们可以选择只备份共享或者说OSS Bucket里面的一个子目录,通过备份路径这个选项进行设置。“/”表示备份所有共享里面的数据,“/subdir”指只备份共享根目录下面的subdir这个子目录。
7

备份计划设置好后,我们就可以定期自动备份OSS Bucket里面的数据啦。当然我们也可以通过立即执行选项手动触发备份。
8

我们通过立即执行触发了一次备份,可以看到备份的速度在100MB/s左右,还是可以的。
9

备份结束之后我们可以查看备份的整个过程,从下图可以看出我们所有的数据都已经备份成功并且没有任何错误。混合云备份服务支持重删压缩技术,实际的存储空间远远小于初始的备份数据量。
10

总结

混合云备份服务具有强大的数据保护能力,支持加密、压缩、重删,并有多副本以及CRC校验技术,保证数据快速、安全、高效地备份到云上。云存储网关具有将对象协议转换为NFS/SMB协议的能力,用户可以在Windows和Linux上挂载OSS,以文件系统的方法访问OSS Bucket里面的数据,并通过缓存技术加速访问。本文通过具体的实践,介绍了一种升级版的基于云存储网关以及混合云备份服务的OSS数据备份方案,配置简单但是功能强大。通过云存储网关和混合云备份服务后端架构融合的方式,不需要客户提供一台额外的客户端挂载网关共享,就可以实现OSS数据的备份以及恢复,更加的经济并且用户友好。

相关实践学习
利用HBR实现ECS文件备份
当您已使用ECS,并在云盘中保存文件后,可能会遭遇病毒勒索,文件误删除的情况。本场景主要介绍如何使用HBR为ECS文件备份,保证数据安全并可及时恢复。
目录
相关文章
|
2月前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB冷存数据到OSS之后恢复失败如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
2月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
10天前
|
分布式计算 DataWorks 数据处理
DataWorks产品使用合集之在DataWorks中管理MaxCompute模块的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
10天前
|
DataWorks 对象存储 分布式计算
DataWorks产品使用合集之DataWorks在将数据写入OSS时,会将所有的字符串类型的字段进行trim操作如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
27 1
|
10天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,同步OSS中的数据的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
12天前
|
运维 Java Serverless
Serverless 应用引擎产品使用之数据文件(例如sdxl)超过了OSS(对象存储服务)的单个上传大小限制(5GB)如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
20 1
|
21天前
|
存储 运维 NoSQL
通过OOS实现定时备份Redis实例转储到OSS
基于阿里云 Redis 备份功能,现结合 OOS 推出自动转储至 OSS 的新方案,解决了数据安全风险、运维繁琐、成本增加和效率低下等问题。新方案亮点包括: 1. 数据安全性提高:备份文件自动上传至OSS,利用OSS的数据冗余存储,保证数据在硬件故障时的持久性和可用性。 2. 完全自动化:设置好定时规则后,备份和转储过程无需人工干预。 3. 多实例多地域集中管理:支持一次选择多个实例和跨区域备份,简化管理。 4. 灵活的备份策略和成本控制:自定义备份频率,并通过OSS生命周期管理策略控制成本。 5. 监控和告警:集成OSS和云监控,实时掌握备份状态,及时处理异常。
154 0
|
23天前
|
存储 移动开发 安全
对象存储OSS产品常见问题之目前只看到能够下载对账单,但是想通过接口获取数据获取如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
33 0
|
2月前
|
存储 API 开发工具
oss数据解密与下载
阿里云OSS提供服务器端加密(SSE-OSS/SSE-KMS)功能,保证静态数据安全。下载加密对象时,OSS自动解密并返回原始内容。确保下载请求者有相应权限,尤其是使用SSE-KMS时。可通过SDK、图形化工具或编程框架集成下载,发起请求时,OSS自动处理解密,客户端接收解密后的数据。权限、下载方式选择及请求发起是关键步骤。
20 1
|
2月前
|
存储 运维 安全
深度解析HBR混合云备份:实现数据灾备的最佳实践
深度解析HBR混合云备份:实现数据灾备的最佳实践

相关产品