对象存储在数据中心的滚雪球式发展

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

如今,现代企业的业务核心就是数据。虽然数据存储一直在企业运营中发挥了不可或缺的作用,但在过去,人们却很少考虑其成功的关键。这是因为那时的数据还没有被确认为非常宝贵的财富,并强大到足以决定公司的命运,而如今则有所不同,得到人们的重视。

然而,我们目前正在对数字革命重新定义,企业和个人的自身行为方式也在相互发生作用。大数据集,海量信息和洞察力现在被认为是箱子中的宝贝,可以给企业带来竞争优势。

  魔鬼叉子

不可能实现的事情

到2020年,机器生成的数据量将是人类创造数据量的15倍。而常见的IT最佳实践的实施、操作、管理和存储的数据量已达到数百PB,而这些将成为不可持续的期望。

当相关媒介不能保持与数据存储增长的步伐时,你可能被一个“魔鬼叉子”终结了,所谓“魔鬼叉子”是一种视觉假象,这意味不可能制造出来的物体。或者是超出了所承受的极限。数据中心的数据更新和存储需要更高的可扩展性,以及存储数据的恢复,因此,所有权的总成本过高。那么,存储技术的进步如何促进数据中心的发展?

鉴于企业的经营方式和数据量非常大的不可阻挡的创作方式的重大变化,令人惊讶的是,传统的文件系统,存储区域网络(SAN)、网络附加存储(NAS),统一存储系统不足以满足企业数据存储需求。数据中心技术需要跟上数据增长呈指数式增长这个新的现实。那么解决的方案是什么吗?对象存储。但在人们致力于更快的技术发展之前,让我们来看看数据存储的景观是什么样子,人们直到几年前才了解为什么对象存储如此发展迅速,并变得如此流行。

传统存储技术有两种变化。首先是块存储,管理磁盘扇区和磁道内的数据块。其次是文件存储,管理文件组织成分层文件系统中的文件。块存储采用SAN的,其中是通过SCSI磁盘阵列,iSCSI或光纤通道网络连接服务器,而文件存储提供了标准的网络文件共享协议来交换系统之间的文件内容。

这些传统的技术都具有消极的一面,但就整体而言,还是能够满足企业的数据存储要求,直到需要应对大规模数据的指数增长。据调查机构IDC的预测,2015年到2019年,用于大数据部署存储硬件的复合年均增长率为29.9%,2019年的存储总量将达到73.41EB。作为一个整体,存储的硬件主软件,以及大数据服务将以24.6%的复合年增长率增长。

输入对象存储

让我们来看看什么是对象存储,以及它如何帮助那些处于萌芽的数字企业转型为全球网络巨头的。虽然许多厂商都在开发PB级别的存储技术,但一些领先企业,如亚马逊,谷歌,Facebook,以及雅虎公司都在致力于研发一些创新技术,解决如数据恢复能力,数据持久性,基础设施,管理,电源,冷却等运营总成本,以及海量存储的增长等面临的挑战。他们目前正在蓬勃开展这样的项目。

对象存储的这些早期采用者们很快就认识到,数据中心的可扩展性是一个难以克服的障碍,虽然它具有理论上没有限制的优势:而到目前为止,存储的数据已经达到或超过10艾字节。这个原因难以忽视除,对象存储工作迅速地渗透到企业层面的主流应用中。那么究竟它是否有助于克服PB级别的挑战吗?

对象存储是基于无共享架构:一个分布式节点计算架构,其中没有节点共享系统资源,其中包括CPU,存储器,或物理存储介质。而没有共享的架构,就没有一个单点的失败,也没有系统的竞争。可扩展性在容量和性能上接近线性。而存储硬件上,其中包括低成本服务器,硬盘,固态硬盘,网卡等。

对象存储是软件定义的存储(SDS),因为它将低成本服务器的硬件转换成高度可扩展的,弹性存储系统。事实上,一些对象存储软件使用擦除编码技术,可以允许成本更低的桌面硬盘在不损失性能和可伸缩性的情况下,实现更低的平均时间故障,以及更低误码率。

四种不同的对象存储选项可供选择:两个是商业化的,两个是开放源码的。在一般情况下,这四个对象存储选项都没有共享架构。它们的特点是:

·完全分布没有单点故障

·可扩展到PB级别

·自动修复

·在大多数情况下,很少有管理员干预,可以自我管理

·在服务器硬件上运行嵌入式存储媒体

对象存储被设计成可大规模扩展的,因此,与传统的块存储或文件存储系统有着根本的不同:它将信息转换成弹性大小的容器,这称之为对象。每个对象包括数据本身以及其相关联的元数据,并具有一个全局唯一标识符,而不是一个文件名和文件路径。这些唯一标识符被部署在平面地址空间,从而消除了基于复杂文件路径的分层文件系统的复杂性和可扩展性的挑战。

在当前这样的数据饥饿的环境中,我们生活的每一个方面是都是由数据驱动的。所有数据的过去,现在和未来的业务,都是有识之士眼中的潜在的金矿,传统的规模有限的存储模式注定不再适应。相反,对象存储才是最适合的技术,可以提供超大规模和性能,使IT专业人员能够分析和存储如今盛行的庞大的非结构化数据。

本文转自d1net(转载)

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
3月前
|
存储 机器学习/深度学习 安全
阿里云支撑2024冬青奥会,实现云上转播、云上办赛
阿里云支撑2024冬青奥会,实现云上转播、云上办赛
72 0
|
10月前
|
存储 网络协议 算法
带你读《云存储应用白皮书》之7:1. 存储服务网络的巨变
带你读《云存储应用白皮书》之7:1. 存储服务网络的巨变
164 0
|
11月前
|
数据中心 云计算 UED
《云上大型赛事保障白皮书》——第一章 大型赛事云上数字化转型——1.2 上云优势
《云上大型赛事保障白皮书》——第一章 大型赛事云上数字化转型——1.2 上云优势
146 0
|
11月前
|
存储 运维 分布式计算
带你读《生命科学行业云上解决方案及最佳实践》——云上 HPC 为生命科学行业带来全新机会
带你读《生命科学行业云上解决方案及最佳实践》——云上 HPC 为生命科学行业带来全新机会
153 0
《企业级基础设施专场-云上护航服务-保障云上的尖峰时刻_章君》电子版地址
企业级基础设施专场-云上护航服务-保障云上的尖峰时刻_章君
39 0
《企业级基础设施专场-云上护航服务-保障云上的尖峰时刻_章君》电子版地址
|
存储 弹性计算 安全
对象存储 OSS 教育行业最佳实践,稳定且高性价比的存储平台
对象存储 OSS 教育行业最佳实践,稳定且高性价比的存储平台
406 0
|
对象存储
十年沉淀,阿里云发布全球领先的对象存储OSS可用性SLA
阿里云发布全球领先的对象存储OSS可用性SLA
1079 0
十年沉淀,阿里云发布全球领先的对象存储OSS可用性SLA
|
存储 监控 安全
证保行业的云存储应用实践
云存储在金融行业的应用场景
804 0
证保行业的云存储应用实践
|
存储 运维 安全
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新,关注更多内容!
866 0
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会