软件定义存储之演进:是改变数据中心的洪荒之力?

简介:

早在10年前,那还是传统存储系统最辉煌的时刻。当时的"存储软件"这个词所包含的范围如下:

1. 指代存储系统中的一些软件功能,比如快照、Thin、容灾复制及切换管理等等功能。这些功能往往以License的方式授权。

2. 存储系统管理软件、备份软件、双机HA+远程复制套件、多路径软件等主机端功能性套件。

3. FreeNAS、OpenFiler,ComSTAR、ZFS等开源存储系统OS。

软件定义存储之演进:是改变数据中心的洪荒之力?

ZFS,单控和双控时代的明星软件

在传统存储辉煌的时代背景下,二三线厂商、初创厂商,以及一些做备份容灾类产品的厂商,有不少是基于ZFS来搭建的。如果是作为容灾备份类产品,单控足以,而且不需要太高性能,ZFS这种几乎是全功能的开源套件非常适合于迅速推出产品,而且规格也很好看。对于二三线SAN存储厂商,则还需要在ZFS之上做二次开发,增加双控的缓存镜像、以Lun为粒度的互备管理等功能,然而ZFS作为一个全能型选手,其架构比较庞大,直接导致IO时延较高,很不利于OLTP类或者同步IO为主的业务场景,这也让这些厂商苦不堪言。

软件定义存储之演进:是改变数据中心的洪荒之力?

对于FreeNAS、OpenFIler这种存储底层框架软件,其无论是在性能、稳定性还是扩展性上,均不足以支撑商用产品,但是却是DIY或者自用的好选择,所以并没有得到广泛认知。

眨眼间,这些存储系统老炮们突然发现自己老了。其实是突然出现一帮搞分布式存储的人出来占领传统存储系统所垄断的市场。笔者认为,分布式存储之所以能够在短短几年之间雨后春笋的生长,其技术原因有两个:10GE网络的迅速普及、固态存储的迅速普及。依赖于这两个技术,分布式系统实现易如反掌,可以拥有足够的扩展性以及足够的性能。其市场推手则是互联网、云计算、大数据等这些只能依靠大规模集群来搞定的场景和概念迅速被认知,以至于其已经深入到新生代工程师的思想底层,深入到了市场分析师、分享投资人的思想底层。这就不得了了,传统存储的根基直接被撼动,而且逐渐会土崩瓦解,最终传统存储系统只会把持一部分关键业务市场,大量的非关键业务和外围业务,将会迁移到新兴存储系统上。

Ceph,分布式时代的ZFS

正如ZFS在10年前的状态一样,Ceph作为当今分布式流行时代的明星开源分布式存储系统实现,被无数的知名的、不知名的公司、个人用来搭建自用的、商用的分布式存储系统。正如当年ZFS一样,Ceph几乎支持所有存储系统该有的功能,而且支持分布式架构,支持文件、块、对象访问。基于这个框架,二次开发者也可以迅速推出产品。然而,如ZFS一样,其也是由于架构太过庞大,导致性能不佳,主要体现在高时延方面,对于并发量较大的异步IO场景问题不大,对于一些交易类业务性能较差。

软件定义存储之演进:是改变数据中心的洪荒之力?

也有些知名厂商采用自己的私有架构,但是这些厂商的产品往往价格很高,甚至与传统存储相比在价格上没有任何优势。业界将这类分布式存储包装为"软件定义存储"。当然,实际中也有不少产品依然是软硬绑定一起卖,与传统存储系统区别不大,只不过后者的软件和硬件系统更加封闭,前者更加开放。

分布式存储系统的关键点

弹性

分布式系统应该拥有极强的扩展性,这也是其区别于传统存储系统的关键点。并且可扩可缩,对上层保持透明。一个良好的分布式系统应该可以扩展到数千个节点。如何管理如此大规模的节点数量成为一个难题。比如,浪潮下月将发布的基于天蝎标准的整机柜软件定义存储系统(AS13000-Rack)就可以达到最大超过5120个节点的规模。

软件定义存储之演进:是改变数据中心的洪荒之力?

浪潮AS13000

可靠性

传统存储系统以可靠性著称。为了节省成本,目前多数商用分布式存储系统并没有采用双冗余部件,而是通过软件,在上层源头上将数据复制成两份或者多份副本,当由于任何原因导致其中一份副本无法访问时,系统可以转为访问其他副本。

方便部署

传统存储系统的部署门槛很高,因为其涉及到非常多的部件,比如SAN交换机、HBA、单独设计的控制器、JBOD及它们之间的特殊的连线方式等。而分布式存储基于传统标准服务器,很少有JBOD,其部署相对简单,但是在超大规模数据中心场景下,部署大量节点时仍然是个很大挑战。如何能够更加方便的部署成为分布式存储系统的关键考量点。

大规模部署场景下,对硬件部署的速度、便捷性等方面的要求就会非常高。笔者剧透一下,浪潮预计下月发布的AS13000-Rack分布式存储系统的硬件基于天蝎标准的整机柜硬件方案(SmartRack),此硬件平台已经在BAT大型互联网数据中心里久经沙场了,其中一家甚至70%以上新采购计算节点都是以整机柜方式部署了。这种硬件平台能够以比传统机架服务器快8倍的速度部署交付给最终用户,非常适合于大规模部署及管理。

广泛的业务场景适配

分布式存储系统想要得到更加广泛的认知和应用,就必须针对各种业务场景进行适配和优化。有些业务天生是分布式的,比如一些分布式数据库,其天然将数据进行切分然后松耦合运行,尽量减少产生跨节点流量,这种场景非常适合分布式存储系统;而有些业务则是彻底的单机版,其在单一节点上访问全局数据,此时不可避免需要跨网络访问,此时就要求系统针对此种情况作出优化,比如采用RDMA等低时延跨节点访问路径。另外,OLAP和OLTP这两大类业务的IO需求有显著不同,前者对时延没有什么要求,对并发度和吞吐量有要求;而后者则对时延和并发度都有要求,如何兼顾这些业务场景,是分布式存储系统设计上的一个难点。

浪潮AS13000分布式存储系统针对各种场景做了深入调研分析,抽象出一些底层类模型,应用到IO路径的设计当中,可以应对主流的业务场景,发挥出应用的性能。除此之外,还针对不同场景支持不同的访问协议,比如传统的块级访问和文件访问,以及面对新兴业务的对象访问方式。

浪潮的软件定义存储战略

AS13000 是浪潮推出的一款大规模分布式存储系统。其支持容量、性能的在线无限扩展,提供软硬件故障情况下的数据重建、远程容灾功能,是适用于云计算、大数据业务并兼具高性能、高可靠、高可扩展、大容量特征的新一代存储系统平台。

根据这份路标显示,AS13000将实现包括万亿文件检索、IO协议栈优化、小文件性能加速、全闪存、应用感知等多方面的精细化优化技术。这些面对新兴业务场景的优化,真正体现浪潮的AS13000分布式存储在面对这个全新时代时所作出的及时的响应和规划,这种精细化智能存储系统也正是这个全新时代所需要的。

SDS是改变数据中心的洪荒之力吗?这个问题相信大家在看到浪潮AS13000广泛的应用场景和技术优势之后已经心里有了答案。而关于AS13000新品的详细解读,笔者想在这里先卖个关子,下月SDS新品发布时咱们不见不散。

软件定义存储之演进:是改变数据中心的洪荒之力?

浪潮AS13000


原文发布时间为:2016年8月24日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
存储 人工智能 运维
超大规模云数据中心对存储的诉求有哪些?
要实现超大规模部署的特性,就对存储有别于普通数据中心或者消费市场的诉求。具体有哪些呢?主要有以下几点,我们针对部分信息展开讨论
|
存储 固态存储 算法
浅析数据中心存储发展趋势
产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。
|
存储 安全 JavaScript
GitLab 对免费用户实施存储限制;谷歌数据中心发生爆炸;新版 Vue 3 中文文档上线 | 思否周刊
GitLab 对免费用户实施存储限制;谷歌数据中心发生爆炸;新版 Vue 3 中文文档上线 | 思否周刊
199 0
|
Kubernetes Cloud Native Linux
什么是Kubernetes,以及Orchestration如何重新定义数据中心
在短短四年多的时间里,谷歌内部关于容器管理的项目已经颠覆了VMware、微软、甲骨文以及其他所有未来很具前景的数据中心。 那么到底是什么改变了一切呢?在所有软件依赖操作系统平台的时代,数据中心已经确立了其目的和功能,Kubernetes的功能显得并不那么显著。
3098 0
|
存储 运维 安全
话说数据中心里的软件定义
话说数据中心里的软件定义
125 0
话说数据中心里的软件定义
|
存储 数据中心 芯片
大型数据中心的存储能耗问题与NVM在数据中心中的应用
        随着大数据、人工智能等新型应用的兴起,存储器件受到了越来越多的重视。在小 到手持嵌入式设备、大到超级计算机的各类计算系统中,存储器在降低系统的能耗、提 高系统可靠性和性能等方面扮演着至关重要的角色。
2272 0
|
存储 安全 大数据
如何规划软件定义的数据中心网络
数据中心网络是企业IT创建私有云和混合云架构战略中的关键组成部分,它能够改进数据中心的网络的自动化、敏捷性、安全性和分析能力,能够实现企业自有应用程序与公共云服务的无缝集成。随着时间的推移,前沿软件将会逐渐向基于意图的数据中心网络转变,以实现全面自动化和快速修复应用性能问题。
2142 0