从混合云存储看阿里云对下一代企业计算架构的思考

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 2020年,全面激活混合云市场。

1_

摘要:在公共云视角下,把企业本地存储视为一整套存储与计算方案中的一个部分与环节,通过公共云对云上云下存储和计算统一管理,以满足脉冲计算、基因计算、AI与机器学习等新型计算与数据存储的需求,这就是阿里云的混合云思路。

阿里云在2019年最后一个月发布了针对混合云的两款产品:入门级混合云存储阵列SA2100以及混合云CPFS一体机,加上2019年发布的混合云存储阵列中高端产品SA2600、3600、5600以及基于容器的ACK混合云2.0等,阿里云已经为2020年混合云市场的全面激活做好了准备。

混合云存储阵列SA系列融合IP SAN、FC SAN、NAS和OSS对象存储协议于一体,而CPFS主要面向海量小文件存储场景,二者可满足企业存储的大部分需求,而SA系列与CPFS一体机都可部署在企业数据中心,与阿里云公共云无缝对接,企业无需改变现有的IT架构,就能从企业本地数据中心充分利用公共云存储易于扩展、快速灵活部署的优势。

阿里云智能存储资深总监Alex Chen表示,阿里云存储集合十年的技术积累下沉服务企业级客户,从混合云存储角度推动传统企业加速上云,让传统企业客户可以放心使用本地和云端混合部署的存储解决方案,真正打通上云的数据“高速路”。

2alexchen_jpeg

(阿里云智能存储资深总监Alex Chen)

相对于传统企业存储厂商来说,阿里云的混合云方案原生带有大规模公共云服务和实践经验;而相对于公共云服务厂商来说,阿里云更有向混合云进行投入的决心。

Alex Chen强调,阿里云对于混合云的决心并不仅仅是丰富的硬件产品和加密、安全、迁移等软件解决方案,更是诸如购买混合云存储阵列即可赠送阿里公共云服务这样的商务方案,以及刚推出的针对企业级预算型采购的SCU按量付费、灵活置换存储类型的公共云售卖方案。阿里云要用混合云,打通公共云的最后一公里。

从大数据到新数据

早在2014年的时候,业界就提出了大数据的4个V:多样化、海量、高速度和高价值。到了2019年,随着5G大规模商用的起步,大数据的时代才真正到来。然而,今天的企业不仅面临着大数据的挑战,还面临着移动互联网和人工智能所带来的新数据挑战,以及越来越严格的政府和行业数据监管要求。

在大数据方面,随着数字经济和数字社会的快速发展,企业依然面临着每年数据量剧增的大趋势。这直接导致对数据中心投资的大幅增加,根据赛迪顾问的数据,2018年中国数据中心IT投资规模达到3257亿元,比2017年同期增长17.8%,其中硬件投资占46%;而预计未来3年中国数据中心市场规模将保持13.6%的增长速度。

但是企业自建数据中心的速度远远跟不上移动互联网场景下的新型数据场景,特别是脉冲式数据现象。近年来电商带来了脉冲式数据流,特别是以每年阿里的双十一为典型代表。2009年的时候,双11零点峰值交易笔数为400笔/每秒,而到了2019年则达到了54.4万笔/每秒,脉冲式数据峰值十年实现了1360倍的增长,直接导致对各种存储和日志服务需求的十倍和数十倍增长。在阿里双11的带动下,全社会也出现了双11、双12、各种秒杀等脉冲式数据现象。

3_

在人工智能方面,智能图像视频识别和智能语音识别的需求正在爆发,不仅带来了各类图像、照片、视频和语音数据的大规模增长,例如直播应用一天产生的视频数据量就以TB甚至PB计,而连接千万用户的智能音箱、智能语音助手等产生的语音数据更是爆发性增长。更为重要的是一个深层神经元网络的参数就可能达亿计、芯片计算量可达百亿次/秒,AI并行并发计算的特性要求大量数据交换和移动,提出了计算存储一体化或统一化的挑战。

而基因计算、容器计算等海量小文件、低时延、高IOPS、无缝快速切换数据副本等新兴数据和计算场景,以及对企业关键关系型数据的统一管理等,都对企业级存储提出了新的需求。此外,越来越严格的政策和行业法规遵从,例如2017年10月实施的新版《民用运输机场安全保卫设施》标准(MH/T 7003-2017)要求机场安保数据的存储从原来的30天升级为90天,而2018年5月的欧洲GDPR也对数据存储有要求,不同的国内外合规遵从不断对全球化运营的企业提出存储新需求。

在新兴数据及数据存储需求下,企业级存储面临着更可靠、更高性能、更灵活、弹性扩缩容和简化运维的新挑战。

公共云视角下的混合云

企业新兴的数据需求以及对于企业级存储带来的挑战,已经不能从自有数据中心存储角度加以解决,公共云视角下的混合云正在成为企业级存储创新的方向。

市场咨询与研究公司Wikibon指出,当前正在进入云的第三个发展阶段:云的企业阶段。Wikibon的调研显示,2019年将是企业开始建立具体的长期云战略的一年。而在云的第二个阶段,大数据向云迁移且建立了AI和机器学习分析等创新模式,但企业的ERP等高价值核心应用并没有向云迁移。随着新的边缘数据和本地核心数据源的出现,企业数据趋于保留在本地和边缘,相反的是云服务将移向本地核心和边缘移动。

从公共云数据中心、本地数据中心和边缘数据中心等视角下来看,混合云更多指的是包括了所有IT形态的混合IT&多云环境下的IT资源管理,而非本地存储资源的虚拟化(也就是之前流行的企业级存储虚拟化)。而所谓的分布式存储软件,也将扩展到公共云、本地和边缘计算存储资源的统一管理,也就是云上、云下的一体化。这是公共云视角下的混合云存储,与企业数据中心的存储虚拟化以及基于开源软件的数据中心分布式存储的最大区别。

传统数据中心视角下的混合云存储,将公共云存储视为补充的扩展资源,作为备份及灾备的方案;而公共云视角下的混合云存储,是把企业本地存储视为一整套存储与计算方案中的一个部分与环节,通过公共云软件对云上云下存储和计算统一管理,以满足脉冲计算、基因计算、AI与机器学习等新型计算与数据存储的需求,而这就是阿里云的混合云思路。

Alex Chen强调,在存储硬件越来越标准化的今天,本地环境下的企业级存储以及分布式文件存储等场景的创新空间已经越来越小,更大的创新空间实际上来自公共云下沉到企业本地以及云上云下的计算与资源联动。例如阿里云在国内所有Region提供了同城冗余能力,也就是上传到阿里云的数据有3个备份,分别存放于3个不同的数据中心,如果一个数据中心出现问题,另外2个数据中心还可以继续提供服务。而同城冗余存储提供了数据12个9可靠性,也就是存储100万文件到阿里云,在100万年内不会有任何的数据丢失。

同城冗余存储是阿里云对象存储OSS最近发布的产品,阿里云对象存储OSS多年支撑双11业务高峰,历经高可用与高可靠的严苛考验,其多重冗余架构设计为数据持久存储提供可靠保障,基于高可用架构设计可消除单节故障、确保数据业务的持续性。

阿里云的文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统,提供对数据毫秒级的访问和高聚合IO、高IOPS的数据读写请求,可用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析、机器学习、大数据分析以及影视渲染等业务场景中。

阿里云的NAS文件存储则可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC、AI训练PAI等计算业务上,提供高性能的共享存储。值得一提的是极速型NAS是针对海量小文件场景提供百微秒级低时延和高IOPS访问,解决了传统存储云化架构下海量小文件访问出现的过大时延导致web网站访问缓慢、容器集群批量启动时并发读取配置文件卡顿、DevOps持续集成效率低下、实时日志分析文件系统负载过高等问题。

而阿里云块存储服务推出的ESSD云盘,是阿里云推出全球首个跨入IOPS百万时代的云盘,单盘IOPS高达100万,比SSD云盘快40倍,这是阿里云迄今为止性能最强的企业级块存储服务。除ESSD外,阿里云块存储类型丰富,包括SSD云盘、高效云盘、普通云盘、NVMe SSD本地盘、SATA HDD本地盘、SSD共享块存储、高效共享块存储等多种磁盘类型,满足不同业务场景需求。2019年的技术更新包括单云盘最多可保存1000个自动快照,ESSD在线最大扩容32TB(即无需停机)等。

Alex Chen介绍,阿里云存储的软件特色还包括:安全方面支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性,获得多项合规认证,包括SEC、FINRA等,满足企业数据安全与合规要求;提供标准、低频、归档多种类型,通过生命周期自动化实现数据类型转换与过期管理,覆盖从热到冷多种存储场景;提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式,可以随时随地通过网络管理数据等。

4_

实际上,在过去十年里阿里云在存储方面有着大量的创新场景和创新技术,更多是与计算类型相结合的存储技术和系统创新。从2008年开始,阿里云存储在规模化,可靠性、性能和稳定性,便捷性以及软硬一体化等四个方向发展,在这个过程中积累了大量的创新甚至是自研芯片、自研协议和自研硬件以实现更加极致的存储体验。

把云存储推向企业

2019年11月,总部位于澳大利亚的动画和视觉效果工作室Animal Logic宣布正与阿里云开展合作,将本地制作内容备份到阿里云中,以满足不断增长的媒体制作需求。Animal Logic的作品包括《X战警:逆转未来》、《乐高大电影》以及《复仇者联盟2》,而Animal Logic对澳大利亚本地的公共云服务商进行了严格的评选,最终阿里云胜出。

Alex Chen认为,阿里云能在澳大利亚市场中胜出,证明了阿里云的能力以及建立了企业市场的信心。在国内市场,国内知名智能汽车制造商小鹏汽车即将采用阿里云文件存储CPFS来对训练过程中的模拟数据进行计算。CPFS不仅能解决小鹏汽车日均几十TB数据挑战,还能帮助AI系统迅速处理数据,加速汽车在复杂路况和驾驶技巧的训练速度。小鹏汽车物联网与商业技术高级总监谭蔚华表示,阿里云在数据采集、数据传输和计算处理全链条上提供了全方面的改善,帮助小鹏汽车提升了车联网技术的协同研发效率40% 以上。

在看到了企业市场的需求后,阿里云也加快了把云存储服务向企业本地数据中心推进的进程。本次发布的企业入门级混合云存储阵列SA2100,是专门为中小企业及大型企业分支机构设计的本地部署混合云存储阵列产品,企业无需更改原有的IT架构就可以像使用传统企业存储设备一样使用阿里云混合云存储阵列。而SA2100的本地存储空间和云端存储空间可以实现多副本跨区域保护,提供12个9的数据高可靠性。

混合云存储阵列SA2100提供了丰富的企业特性:在硬件设计方面,采用全冗余架构,支持数据加密、ACL及快照、卷克隆、卷镜像、远程复制等企业存储特性,与阿里云公共云存储无缝结合;在产品配置方面可扩展FC、万兆、千兆主机接口,支持最多300块SSD、SAS、NL-SAS等类型硬盘组合,精细匹配业务不同需求。

而本次发布的CPFS混合云一体机也与阿里云公共云的存储资源无缝打通,帮助企业无缝上云,实现“云下资源可控,云上弹性伸缩”的多级存储池架构。

此外,阿里云创新地引入了存储容量单位包(Storage Capacity Unit,以下简称SCU),可以用来抵扣多种不同类型云盘的按量付费账单。作为一种创新型的售卖形态,SCU让预付费企业可在不同类型存储产品之间转换,而无需繁琐、冗长的财务流程。Alex Chen强调,公共云是由互联网公司发起的,其售卖方式并不适合企业级预算型用户,而SCU正是阿里云存储对企业级客户的创新。目前SCU并不包括本地部署的阿里混合云产品,未来时机成熟时将扩展到企业本地。

5_

从目前阿里云的混合云存储产品和服务的布局来看,下一代企业级计算架构将向着分布式和云化架构相融合的方向发展,这种所谓分布式云架构即把公共云服务拓展向各个物理位置而主要由公共云厂商进行管理、运维和治理等工作,各类集群分布在客户数据中心、边缘和云数据中心并通过统一管理而实现场景创新,当然企业对于本地部署的IT资源可以选择更大自主权以满足合规等要求。

总体来说,阿里云所推动的混合云创新还在演进中,还在根据企业级客户需求、市场发展趋势以及阿里云技术进展而不断寻找公共云服务与本地管控IT资源之间的平衡点。不过可以肯定的是,公共云服务下沉到企业本地数据中心的混合云,将是下一代企业计算架构的大方向。(文/宁川)

目录
相关文章
|
27天前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【2月更文挑战第31天】 随着数字化转型的加速,云原生技术已经成为推动企业IT架构现代化的关键力量。本文深入探讨了云原生架构的核心组件、实施策略以及面临的主要挑战。通过分析容器化、微服务、DevOps和持续集成/持续部署(CI/CD)等关键技术,揭示了如何利用这些技术实现敏捷性、可扩展性和弹性。同时,文章还讨论了企业在采纳云原生实践中可能遇到的安全性、复杂性和文化适应性问题,并提供了解决这些问题的策略和建议。
|
28天前
|
算法 数据挖掘 调度
隐语实训营-第3讲:详解隐私计算框架的架构和技术要点
主要介绍隐语的隐私计算架构,并对每个模块进行拆解、分析,以期望不同使用者找到适合自己的模块,快速入手。
46 4
|
28天前
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
23天前
|
运维 Cloud Native 持续交付
云原生架构的未来演进:打造灵活、高效的企业IT基础
随着数字化转型的不断深入,企业的IT基础设施正经历着从传统架构向云原生架构的根本转变。本文将探讨云原生技术的最新发展趋势,分析其在提高业务敏捷性、降低运维成本以及促进技术创新方面的关键作用。我们将重点讨论如何借助容器化、微服务、DevOps和持续交付等核心技术,构建一个能够适应快速变化市场需求的云原生生态系统。通过实际案例分析,揭示企业在迁移到云原生架构过程中面临的挑战与解决策略,为读者呈现一幅云原生技术赋能企业未来的蓝图。
|
29天前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
39 0
|
28天前
|
Cloud Native 安全 Devops
构建未来:云原生架构在现代企业中的应用与挑战
【2月更文挑战第30天】 随着数字化转型的深入,企业正迅速采纳云原生技术以适应不断变化的市场环境。本文探讨了云原生架构的关键组成部分,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,并分析了它们如何促进企业的敏捷性和可扩展性。同时,文章也识别了企业在采用云原生技术时面临的安全、文化和技术挑战,并提出了相应的解决策略,以帮助企业在云时代保持竞争力。
|
28天前
|
算法
隐私计算实训营 第1期-详解隐私计算框架的架构和技术要点
本文简要介绍了隐语技术架构的五层结构:产品层、算法层、计算层、资源层和硬件层。每层分别涉及模块功能、定位和人群画像,旨在使不同角色的用户能轻松理解和使用,降低隐私计算的入门难度。此外,隐语产品设计具有开放性和前瞻性,易于集成。
|
1月前
|
存储 机器学习/深度学习 并行计算
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下不同类型的云服务器有何不同,主要特点及适用场景有哪些。
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
|
10天前
|
API 数据库 开发者
构建高效可靠的微服务架构:后端开发的新范式
【4月更文挑战第8天】 随着现代软件开发的复杂性日益增加,传统的单体应用架构面临着可扩展性、维护性和敏捷性的挑战。为了解决这些问题,微服务架构应运而生,并迅速成为后端开发领域的一股清流。本文将深入探讨微服务架构的设计原则、实施策略及其带来的优势与挑战,为后端开发者提供一种全新视角,以实现更加灵活、高效和稳定的系统构建。
18 0

热门文章

最新文章