何英华:大数据时代的存储之道

简介:

本文讲的是何英华:大数据时代的存储之道,当前,随着企业规模的不断成长,有效存储和管理长期累积的且仍在持续快速增长的海量数据,从中发掘商业价值,意味着巨大的市场机遇;同时,也带来了严峻的挑战:大数据将挑战企业在存储架构及数据中心基础设施等,也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。如何选择有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题。

  面对大数据存在的机遇与挑战,在以“海量数据 深度分析 智慧商业”为主题的第二届大数据世界论坛上来自不同行业的专家就大数据的发展与机遇做了详细的介绍。

  NetApp大中华区技术及专业服务部总监何英华就大数据时代的存储之道作了主题发言。

  何英华指出,大数据指的是那些超越了传统典型工具可以采集、存储、管理和分析的数据集合。大数据就是大量、速度快、比较复杂,还有结构性、非结构性,它可能是一个电邮,可能是一个图片,可能是不同的数据、影像等等。

  大分析(Analytics)、高带宽(Banduidth)、大内容(Content)就是ABC。大分析:分析是要对数据有一个洞见,超大数据的实时分析;高带宽:数据一来就要分析结果,做出报表;大内容:大内容是基本上不要丢失任何的东西。

何英华:大数据时代的存储之道
▲ NetApp大中华区技术及专业服务部总监 何英华

  把数据放到不同的存储,拿出来到放计算机的时候需要一个非常好的硬盘渠道,通过很大的带宽,在中间不能丢失任何数据。怎么样在存储方面体现出?

  大数据——保持简单

  我们的策略也是非常简单的,就是ABC这样来做。所以,在不同的地方我们用不同的应用,在分析方面提到大数据,每一个厂家都提到Hadoop,Hadoop应该是有一个非常创新的联盟,在开发Hadoop应用有实时的分析等等。在高带宽方面有一些video方面要处理,在大内容上有一些内容。在这三个方面都有开发产品去应和。

  大数据存储市场的机会

  在大分析、高带宽、大内容来看,Netapp在大容量方面作为领先的一个供应商,每年的增长是35%,在未来我们可以看到有更高容量的增长。

  Analytics 大分析之Netapp解决方案

  企业级Hadoop解决方案。打包集成的部署就绪的模块化Hadoop集群,我们有一个策略联盟,Hadoop的创始人就是在这个公司里做CIO。我们和Hadoop中是密不可分的关系,放到我们的存储中,在容量方面会有160%的增长。所以,在大分析的地方作为一个联盟来达到结果。

  Banduidth高带宽之Netapp解决方案

  全动态视频存储解决方案。去年我们收购了一系列存储系统,在这些方面可以对带宽速度需要非常高的数据进行存储管理,我们通过一系列的产品来达到这方面的解决方案,达到30GB/S的峰值,其他很难有产品可以达到。

何英华:大数据时代的存储之道

  Banduidth高性能计算 HPC-Lustre解决方案。

  在不同的行业,比如政府,国防,能源,石油方面,制造业方面,我们都有非常好的案例。

  Content 大内容之Netapp解决方案

  存储方面StorageGRID这个产品,它有不同的协议,有CIFS、NFS、RESTfulhTTP等存储协议,也是上几万亿对象存储的一个产品。


  大数据存储的IT采购标准

  如果要做大数据,在存储采购方面有什么考虑?在这方面,我跟大家谈的就是几个方向:

  1、向上扩展与向外扩展。我们最常常说话的scale out就是横向和纵向的扩展,我们这里是向上扩展和向外自扩展能力是非常大的,加上 scale out集群的应用可以支持横向的应用。

  2、工作负载优化架构。大数据处理的实时是非常重要的,在负载方面有非常好的能力。

  3、整合的数据保护。

  4、不中断的运营。一天24小时不中断的运营,扩展的时间也是可以不停机的,用户一天24小时,一个星期7天都可以应用。但是对于数据中心的管理员来说,也可以增加很多部署,比如增加硬盘、增加磁盘、增加节点,把数据从不同的地方迁移,做一些整合等等,所以这是一个不中断的营运。

  5、服务自动化。

  在大数据的应用开发采购方面,我们给用户一些建议,我们都可以达到这些要求。

  ONTAP和E系列的应用领域

  数据从总部到偏远的地方,我们都可以用到Data ONTAP管理。而E系列,在大数据方面分析、卫星拍下来的影像等等,在医疗行业方面系统的应用。所以,部门和行业的应用是在E系列。

  在大数据里面很多的应用都具备E系列和FSA都是无缝的,这两个产品有一个非常好的作用,它是一个非常高性能的应用。

  Analytics、Banduidth、Content,我们有很好的专业服务,可以帮助我们的客户去开发Hadoop和工具来发展应用,在带宽方面我们有很多计算,在内容方面我们有对象存储,我们都在FSA系列和E系列都有分工,有无缝的连接。

作者: 李伟

来源: IT168

原文标题:何英华:大数据时代的存储之道

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
存储 分布式计算 大数据
大数据计算中,使用OSS作为外部存储
大数据计算中,使用OSS作为外部存储
49 1
|
8月前
|
存储 NoSQL 分布式数据库
Hbase+ES和MongoDB存储大数据的选用
Hbase+ES和MongoDB存储大数据的选用
237 0
|
存储 缓存 分布式计算
大数据开发笔记(十):Hbase列存储数据库总结
HBase 本质上是一个数据模型,可以提供快速随机访问海量结构化数据。利用 Hadoop 的文件系统(HDFS)提供的容错能 力。它是 Hadoop 的生态系统,使用 HBase 在 HDFS 读取消费/随机访问数据,是 Hadoop 文件系统的一部分。
915 0
大数据开发笔记(十):Hbase列存储数据库总结
|
4月前
|
存储 关系型数据库 MySQL
Mysql 存储大数据量问题
Mysql 存储大数据量问题
101 1
|
14天前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之大数据计算MaxCompute中需要存储16进制的数据,我该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5月前
|
存储 分布式计算 大数据
开通大数据计算MaxCompute就能存储外表了吗?
开通大数据计算MaxCompute就能存储外表了吗?
30 0
|
6月前
|
存储 Cloud Native 大数据
在云原生时代,构建高效的大数据存储与分析平台
在云原生时代,构建高效的大数据存储与分析平台
147 0
|
8月前
|
存储 NoSQL 算法
大数据存储方案
大数据存储方案
378 0
|
9月前
|
存储 算法 大数据
倚天性能优化--基于倚天优化后的zstd在大数据场景应用:降低存储成本+提升重IO场景性能
倚天性能优化--基于倚天优化后的zstd在大数据场景应用:降低存储成本+提升重IO场景性能
|
存储 分布式计算 安全
大数据存储与管理(一)|学习笔记
快速学习大数据存储与管理(一)
746 0
大数据存储与管理(一)|学习笔记

热门文章

最新文章