高性能的云存储不再是白日梦

简介:

曾几何时,那些一度被认为即使不是不可能的,但想要实现的话,其困难程度也是相当高的高性能的云存储现在已然在一些企业组织的IT部门成为了现实。我们已经有了云存储,还有了高性能的存储,但真的有高性能的云存储这样一回事吗?很长一段时间以来,这一答案都是否定的。

“任何时候,只要当您将您的基础设施迁移到数据中心以外的地方时,都会涉及到延迟,您将遭遇到以光的速度运行的问题。”位于马萨诸塞州米尔福德的企业策略集团公司(Enterprise Strategy Group)的分析师斯科特·辛克莱表示说。“光的速度只能这么快。”

对于那些在其云供应商之外,同样需要高性能存储的企业客户而言,他们要么学会妥协,要么只能选择存储在企业内部。然而,现如今有一类新的技术方法越来越多的兴起,其建议使得您的企业组织可以实现鱼和熊掌的兼得了,即:帮助您有可能实现将I/O密集、延迟敏感的应用程序运行在一定程度的基于云的基础设施。

高性能的云存储可以使企业组织可以在云中运行受到云存储的限制,而他们又确实需要的数据库应用程序。其也可以让您企业保持应用程序在企业内部部署环境的运行,同时又可以通过广域网充分利用云存储的低成本和可扩展性的优势。最后,其使得人们能够在云中运行计算,同时回到企业私有数据中心访问存储基础设施成为了可能。

但是,与大多数的存储问题不同的是,实现高性能的云存储的诀窍不仅仅只是涉及到投入更多的磁盘驱动器或闪存而已,辛克莱表示说。当涉及到解决以光的速度运行的问题时,新的技术将“需要依赖于特定的创新来解决该问题。”辛克莱说。即,协同定位数据非常接近计算,或者引入某种形式的网络优化或缓存机制。一些解决方案结合了这三种方法。虽然其仍然处于初级阶段,但早期采用者们已经看到了可观的回报。

预置型计算、云存储

“我们曾经有过关于存储很便宜的心态:如果您企业组织需要更多的存储空间,多买一些就是了。”位于马萨诸塞州威克费尓德的利益管理公司Sentinel Benefits &Financial Group的首席运营官David Scarpello表示说。“然后,我开始逐渐意识到存储其实并不便宜。不管曾经是谁告诉我的,都绝对是犯了一个严重的错误。”

除了购买额外的容量能力、对企业设备进行支持和维护、支付工作人员薪水、进行备份、维护一处数据中心和灾难恢复站点之外,Sentinel公司每年还需支付超过250,000美元,以维护40 TB的企业本地存储,每TB的价值超过了6,000美元。 “这一成本投入无疑是相当巨大的。”他说,那么,这样的巨资投入是为了什么呢?

“存储是非常重要的——其能够使我们安全——但其又不是您想在它上面花费很多钱的东西。”

与此同时,公共云供应商们所提供的原始容量能力的速率又足以与消费者的硬盘驱动器相媲美。亚马逊网络服务(AWS)的简单存储服务(Simple Storage Service,S3)价格为每GB每月0.03美元起,仅享有较少的更大容量和访问层功能;或每年240美元可托管,可复制的TB。

但是,该成本低廉的容量层级是基于对象存储的,其性能在最好的时间是足够的,但在通过广域网访问时,则完全彻底地变慢。因此,这使得许多IT企业组织所面临的挑战是如何能够在充分利用云计算的可扩展性和低成本的同时,保持其性能。

对于Sentinel公司而言,一个潜在的解决方法是采用来自波士顿的初创企业ClearSky Data公司的将一个数据缓存和加速工具结合的一款企业内部部署的缓存设备,以及另一款位于本地入网点(point of presence ,POP)的兄弟设施,直接连接到高容量的公共云存储。 通过本地缓存热点数据,并通过一个专用的、低延迟的连接访问云,企业客户可以为企业内部部署的计算充分利用基于云的存储的低成本的优势,而又不影响性能。

在其最初的版本中,ClearSky Data公司承诺靠近本地的IOPS,同时承诺,对位于波士顿、费城和拉斯维加斯POP入网点以外的客户的延迟性为两毫秒以下。该计划是为了增加其地域分布,并增加对额外的云存储供应商的支持,ClearSky Data公司的联合创始人兼首席执行官艾伦·鲁宾表示说。

Sentinel公司已经开始通过ClearSky将大约7 TB的测试和开发存储卷迁移到AWS,这期间没有开发人员的投诉。理想的情况下,该公司会慢慢完成其所有数据的迁移,从而免除其每月需支付给NetApp公司的5000美元的维修费用,同时还免除了进行备份和异地灾难恢复的必要性。

云计算和存储

如果您企业正在云中运行一款延迟性敏感的数据库应用程序,最佳的实践方案要求您企业最好是选择云服务提供商的块存储服务,如AWS的弹性块存储(EBS)。这曾经是受到IOPS和更小的容量规模限制的大型数据库工作负载一个死亡丧钟。

当Realty Data Company的母公司 National Real Estate于2012年申请破产时,他们必须就其三处数据中心做出快速的决定:迁移到另一处数据中心、租用托管空间或迁移到云中。

“虽然我们在彼时确实很难放手,但在财务上,选择迁移到云中是最有意义的。”这家位于伊利诺斯州内珀维尔的公司的技术总监Craig Loop表示说。

起初,Realty Data公司选择对其应用程序实施撤裁后转移(lift and shift)的迁移方法,但跌跌撞撞地迁移其40-TB的图像数据库从EMC的阵列到云中。来自S3的延迟和性能问题是无法让人接受的,其意味着需要重新编写其内部应用程序以支持对象存储。

“即使有shim库,我们也无法使其正常工作。” Loop表示说。与此同时,AWS EBS也不是一个真正的选择,因为在当时,EBS所支持的容量规模只有1 TB大小。“EBS将成为一个管理方面的头痛问题。”Loop说。

而在与云咨询顾问公司RightBrain Networks合作之后, Realty Data公司使用了一款初创公司Zadara的虚拟专用存储阵列(VPSA),专用的单一租户存储毗邻云数据中心,并通过光纤链路连接,并选择了使用现收现付(pay-as-you-go) 的付费模式。这款Zadara VPSA带来了熟悉的SAN和NAS接口,以及开发人员所期望的企业内部部署的EMC阵列所具备的存储性能。自那时以来,Zadara还在VPSAs增加了其他云提供商,以及一款企业内部部署的版本提供了类似于云的现收现付消费模式。

原生云块存储选项也进行了相应的调升。例如,AWS EBS现在最多可支持多达16 TB容量的大小,而由固态硬盘支持的EBS置备的IOPS存储卷提供每卷高达20000的IOPS。不过,尽管这对很多数据库工作负载已经足够好了,但并不是对所有的都足够。

总部设在伊利诺伊州芝加哥的一家特种化学品公司Lawter Inc.公司,最近将其SAP和SharePoint基础设施从Dimension Data迁移到公共云服务,并选择了Zadara公司的VPSA,因为该公司需要为其SAP环境保证最低20,000的IOPS。 “Dimension Data公司的标准存储已经不能满足我们的IOPS要求了。”该公司的全球网络和虚拟化经理安东尼·波佩说。

与此同时,传统的存储供应厂商看到了他们的产品在云服务提供商的市场。不仅一些云块存储产品不能提供足够的IOPS和延迟性,许多云用户报告称遭受到了“IOPS竞争”——与其他租户在环境中的IOPS资源竞争,EMC公司弹性云存储产品营销董事Varun Chhabra说。

配对具有专用存储的云计算可以实现可预测的性能。

同时,为基于云的工作负载使用专用的存储是为了令一些企业用户安心,Virdata公司的业务发展、渠道和合作伙伴负责人Catherine Van Aken说。Virdata公司为物联网(IoT)应用程序开发了大数据和分析平台,其平台是基于OpenStack的,运行在NetApp公司的FlexPod融合基础设施上。

“并非所有的企业客户都为公共云服务做好了准备。” Van Aken说。 “市场正在从边缘不断增长,但会随着时间的推移而发展到云领域。”她说。她还援引了IDC的预测,即在五年内,90%以上的物联网数据都将被托管在云中。凭借其做法,Virdata公司可以为其企业客户提供阶梯式的方式从所有的预置型环境过度到在云中的计算——具备存储毗邻。

此外,NetApp公司的数据网络结构副总裁菲尔·布拉泽说,可以在云产品管理中使用传统的存储,他甚至呼吁协调人员,他说:“通过将数据托管到云之外,即使计算是在其中”。 NetApp公司的NetApp专用服务器有数百家客户,可提供快速的,低延迟的性能服务,其“近云”的供应商包括AWS、微软Azure、IBM的SoftLayer和阿里巴巴集团,布拉泽说。

云计算、预置型存储

但对于一些企业组织而言,在云计算中存储哪怕只有一点点数据也嫌太多。数据量太大,而预置型存储基础设施的投资又过大,或者对于他们日常操作行为的规定太过于严格,而不得不认真考虑把数据存储在公共云。

但是,计算,则是另一回事。当一家企业组织可能想要在云中运行一款应用程序,而同时要保留其数据在企业内部时,会有很多的情况,Velostrata公司的首席执行官本·沙乌尔说。Velostrata公司是一家初创公司,其软件将存储从计算脱钩。他们可能希望为应用程序的现代化使用云计算,或者用于测试和开发,或者是为了适应峰值期间的利用率。 同时,保持数据在企业内部提供了投资保护,满足合规性目标,或者避免了大量的数据迁移工作。其也可以为企业的多云战略;在云之间迁移应用程序,以避免云锁定,而无需更改其数据存储奠定基础。

“解耦计算和存储有很大的影响。”本·沙乌尔说。

除了切断存储和计算之间的连接,Velostrata公司的软件流和缓存应用程序从企业内部部署的存储映射到云。其由两台虚拟机组成——其中一台运行在VMware vCenter中,调解到企业内部部署的存储的访问,以进行读取和写入;另一台虚拟机在云中,与正在运行的计算进程通信,并与监控引擎集成。 “整个想法是云无关的,并允许虚拟机在目标云环境中运行本机。”本·沙乌尔说。

据Enterprise Strategy Group公司的辛克莱预计,整个存储业界将继续提出创造性的解决方案,以提供高性能的云存储。而根据该公司的研究显示,采用异地备用云资源已然成为IT企业组织在未来最为积极主动的选项。

“显然,这会为企业组织带来巨大的利益,但在同一时间,您真的需要解决好光速的挑战。”
本文转自d1net(转载)

相关实践学习
基于EBS部署高性能的MySQL服务
如果您通常是通过ECS实例部署MySQL来使用数据库服务,您可以参考本实验操作来搭建高性能的MySQL服务。本实验为您演示如何通过EBS ESSD云盘部署一个高性能的MySQL服务。
相关文章
|
1月前
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
104618 104
|
10月前
|
存储 网络协议 固态存储
带你读《云存储应用白皮书》之10:1. 自研分布式存储技术
带你读《云存储应用白皮书》之10:1. 自研分布式存储技术
210 0
|
存储 NoSQL Cloud Native
高效的NoSQL数据库服务Amozon DynamoDB体验分享
高效的NoSQL数据库服务Amozon DynamoDB体验分享
249 0
高效的NoSQL数据库服务Amozon DynamoDB体验分享
|
缓存 负载均衡 前端开发
阿里终面:如何设计一个高性能网关?
最近在github上看了soul网关的设计,突然就来了兴趣准备自己从零开始写一个高性能的网关。经过两周时间的开发,我的网关ship-gate核心功能基本都已完成,最大的缺陷就是前端功底太差没有管理后台😤。
阿里终面:如何设计一个高性能网关?
|
存储 Kubernetes Cloud Native
图文存储常识:单机、集中、分布式、云、云原生存储
背景 本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知。   存储发展史 从单机到互联网,存储作为的基础设施,主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进,时至今日,在形态上存储分为单机存储、集中存储、分
图文存储常识:单机、集中、分布式、云、云原生存储
|
存储 调度 数据中心
云存储的技术原理
云存储(Cloud storage)是一种网络在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。托管(hosting)公司营运大型的数据中心,需要数据存储托管的人,则透过向其购买或租赁存储空间的方式,来满足数据存储的需求。
3187 0
|
Kubernetes 关系型数据库 MySQL
【阿里云新品发布·周刊】第20期:文件存储极速NAS商业首发,百微秒级稳定时延下小文件操作性能提升
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 最新发布 极速NAS重磅发布 2019年8月7日15时,文件存储极速NAS商业首发。
2464 0
【阿里云新品发布·周刊】第20期:文件存储极速NAS商业首发,百微秒级稳定时延下小文件操作性能提升
|
中间件 Java 测试技术
中间件性能挑战赛上线了两大黑科技,是高手就盘它!!
本届挑战赛的评测环节完全使用了云上的产品和服务,是一场真正意义上的云端赛事。可能有人会说:这有什么了不起?其实不然,纵观每届挑战赛,这还是第一次完全抛弃了阿里集团内部的专有系统而完全拥抱公共云,这是具有里程碑意义的一次改变。
4215 1