混合云存储阵列与云存储网关的协同解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。
  • 前言

混合云存储阵列(CSA)于2017年云栖大会发布,上市2年多,已经被基因测序,医疗PACS,影视制作,非编,广电,视频监控等行业和场景的客户广泛采用。混合云存储阵列承载了用户的业务负载的同时,以缓存模式(90%的用户场景)将用户的数据上传到公共云OSS中。

云存储网关(CSG)于2019年6月商业化后,在线上和线下(95%是线上客户),也被众多基因测序,传媒影视制作和互联网客户所采用。

数据上云不是目的,只是用户混合云业务的前提。对于客户而言,如何将云上的数据最大程度的利用起来,是一个非常迫切的需求。云存储网关可以将数据同步到OSS中,混合云存储阵列集成了云存储网关,一个软件服务,一个硬件,这两个产品的组合方案,能解决客户什么样的问题呢?

  1. 存储阵列数据上云,存储网关数据分发、共享、再计算;
  2. 存储阵列用于生产,存储网关用于应急及研发测试;
  3. 存储网关云上备份归档数据到OSS,再通过存储阵列备份数据到线下;
  • 存储阵列数据上云,存储网关数据分发再计算

下图就是一个典型的存储阵列与云存储网关协同解决用户数据上云,再分发,再计算的场景。以视频渲染制作公司为例,在主数据中心,混合云存储阵列承载了几十到上百人的团队的日常工作,包括剪辑,转码,调色,特效渲染,成片输出等工作。当一个项目完成阶段性里程碑时,会有一些素材和成片需要进入下一道工序:不管是将这部分数据交付给客户,或者是位于其他办公地点的下一个团队或同事,都可以通过混合云存储阵列将数据同步到OSS中。在远程办公地点部署的云存储网关,会通过极速同步功能,智能感知到位于上游团队交付的新素材,从而快速完成反向同步,随即开始下一道的流程和工序。

同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。

用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。

image


存储阵列数据上云,存储网关数据分发再计算架构图

同样,很多视频渲染和基因测序公司,会将本地数据中心作为数据采集和粗加工的产所,再通过混合云存储阵列将采集和粗加工的数据上传到OSS中。在公共云上,云存储网关极速同步拉取最新的数据,依托阿里云提供的弹性计算资源,再进行云上计算业务——将原本线下的渲染或基因测序任务,在云上高效地执行。

用户数据在存储阵列或云存储网关,和云端的流通过程,是经过加密的,确保用户数据绝对安全。最后,混合云存储阵列和云存储网关都能够将用户数据自动归档到归档OSS中;当用户需要访问归档OSS中的数据时,也可以做到透明读取,无需用户再去OSS控制台解冻。整个流程高效流畅。

  • 存储阵列用于日常生产,存储网关用于应急突发情况

混合云存储阵列具备传统企业存储的特性,如高可用,高性能,安全可靠,同时,可以根据业务需求提供足够多的本地存储空间。因此,存储阵列在客户实际场景中,一般都是用于一些固定项目,负载普遍比较稳定。无论是前端负载,还是后端上云的带宽,都处在比较高的负载。如果再发生一些突发场景,例如:

  1. 一个团队的项目的交付需要紧急上云;
  2. 一个团队需要从云端下载一些之前归档的文件用于验证最近的开发与测试;
  3. 公司因为业务扩张,计划购买一台新的混合云存储阵列,正在等待预算和采购流程;
  4. 混合云存储阵列正在进行扩容或者维护,需要快速应急方案来保证正常的业务生产;

当客户遇到以上这些突发紧急情况的话,原本规划好的存储阵列不一定可以满足临时的需求。这个时候,可以在公共云上创建一个或者多个云存储网关来弹性支持业务需求。

image
存储阵列用于日常生产,存储网关用于突发应急业务

当创建云存储网关,支撑业务临时需求时,需要区分只是数据上云需求,还是需要将云上数据拉会到本地再应用。如果只是数据上云,存储网关即开即用,只需要规划好云存储网关缓存盘的大小和数量即可获得确定的上云性能。但如果是需要拉取云上的数据到本地的情况,取决于文件数目的多少,反向同步需要一定的时间。建议如果有数据下云的需求,在日常可以创建1-2个网关备用,时刻保证存储网关上的数据与OSS bucket内的数据保持一致。

  • 存储网关归档备份数据到OSS,再通过存储阵列备份数据到线下

有很多混合云存储的客户,他们主要的业务系统是在云上,但他们有将数据备份到云下的需求。例如,有个客户运营着几十个数据库系统,每天进行一次备份,并将备份数据存储在OSS上。随着运营的数据库系统的数量的增多和重要性的增加,数据只备份一份已经不能满足业务需求。对这个客户而言,线下再备份一份数据就是一个合理的选择。基于混合云存储阵列的反向同步功能,用户能很方便的将OSS bucket与存储阵列的本地文件夹做关联,及时高效,安全可靠地将数据备份在存储阵列上。当数据需要恢复时,用户再将数据从线下的混合云存储阵列同步到OSS中,再将备份数据恢复到数据库中,完成数据的恢复流程。

image
存储网关归档备份数据到OSS,存储阵列备份数据到线下

  • 总结

以上三个典型的混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。存储阵列与存储网关不同的是存储阵列具备企业级存储的特性与本地存储能力,而云存储网关主要是面向公共云客户的云服务,弹性,按需,灵活。两个产品在不同的客户需求下,可以互相搭配,高效协同地为客户解决线上到线下或者是线下到线上的混合云场景下的数据流动问题。

相关实践学习
1分钟 Serverless搭建高性能网盘
本场景将使用阿里云函数计算、文件存储NAS以及开源项目Kodbox,带大家1分钟Serverless搭建个人高性能网盘,网盘可长期使用。
相关文章
|
10月前
|
存储 容灾 文件存储
带你读《云存储应用白皮书》之39:1. 基于混合云存储阵列的虚拟化平台搭建
带你读《云存储应用白皮书》之39:1. 基于混合云存储阵列的虚拟化平台搭建
140 0
|
10月前
|
存储 人工智能 达摩院
带你读《云存储应用白皮书》之40:2. 视频监控混合云存储解决方案
带你读《云存储应用白皮书》之40:2. 视频监控混合云存储解决方案
261 0
|
存储 缓存 安全
将云上文件同步至线下存储的一种方案 - 混合云存储网关
在最初的云存储市场,绝大部分用户,都是通过利用云存储的低价和高容量,将本地存储扩展到云上,从而达到降低成本的目的,同时利用云存储的高可靠性,保证数据的安全。随着时间的推移,用户的数据存储形态越来越多样。在与用户的实际接触中,我们发现不少用户同样有着将云上数据复制/备份至云下存储的需求。2019年12月1日实施的等保2.0(信息安全技术网络安全等级保护基本要求2.0),同样也对云上数据的安全性做了要求,这将进一步拉动用户将数据下云做额外保护的需求。
666 0
|
存储 弹性计算 对象存储
混合云存储网关跨境数据传输最佳实践
在之前的文章中,我介绍了混合云存储网关的传输加速功能。那么传输加速的实际效果到底如何?在跨境传输的时候值不值得使用传输加速?为了找到答案,我们做了一些测试,得到了一些结论,供大家参考。
482 0
混合云存储网关跨境数据传输最佳实践
|
存储 缓存 对象存储
混合云存储网关数据下载功能介绍
混合云存储网关,除了能够将用户的数据上传至云端,还能够将用户的数据从云端下载到本地。 本文介绍如何使用混合云存储网关的数据下载功能。
456 0
混合云存储网关数据下载功能介绍
|
存储 数据中心 对象存储
Apsara SA系列混合云存储阵列发布
信息摘要: Apsara SA混合云存储阵列,融合IP SAN,FC SAN,NAS和OSS对象存储协议,支持云分层,云缓存,云复制,云快照适用客户: 有上云需求的传统企业客户 - 灵活部署,快速响应业务需求 - 云端扩容或容灾 - 云上云下数据共享和计算协同 需要构建本地数据中心的公有云客户 ...
7953 0
|
存储 数据中心 对象存储
阿里云发布Apsara SA系列混合云存储阵列
阿里云正式发布Apsara SA系列混合云存储阵列,融合IP SAN,FC SAN,NAS和OSS对象存储协议于一体,同时支持云缓存,云复制,云分层和云快照等多种混合云模式,全面满足企业各类应用对数据存储的可靠性,安全性,性能和灵活扩展的需求。
2379 0
|
存储 弹性计算 缓存
混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案
阿里云对象存储用户众多。很多用户需要对OSS内的数据做线上或者线下的备份。本文介绍的基于云存储网关和混合云备份的OSS数据备份方案,不仅能保证OSS数据按策略的多版本备份,而且配置简单,性能好,效率高,成本低。
2744 0
|
存储 缓存 监控
混合云存储网关云上部署版本介绍
随着企业信息系统的需求扩展和信息技术的发展进步,很多企业用户的信息系统已经完成了从物理环境到虚拟化环境的转变。云上部署版本的混合云存储网关在目前已实现的虚拟化环境中部署形态的基础上,帮助用户在云上的环境中无需改变现有业务系统中的应用,轻松的对接阿里云上的存储服务。
3001 0

相关产品

  • 混合云存储