Hadoop 这样业界顶级的大规模数据处理平台,均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情

简介: 写这篇文之前想起一个段子:“你在干嘛?”“我在王健林这儿跟马云谈生意。”“说人话!”“我在万达广场逛无聊了坐着拿手机淘宝……” 所以,本来开篇想说上周到马云那里聊了会最新的云计算技术,想想还是不那么得瑟,老实交代吧,上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。

写这篇文之前想起一个段子:“你在干嘛?”“我在王健林这儿跟马云谈生意。”“说人话!”“我在万达广场逛无聊了坐着拿手机淘宝……”


所以,本来开篇想说上周到马云那里聊了会最新的云计算技术,想想还是不那么得瑟,老实交代吧,上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。马云当然是没见着,据说马老师刚好到武汉去了,当然大家都心里有数,马老师就算刚好没去武汉估计也会刚好有什么其它事情无暇分身滴。出席研讨的阿里方最高级别干部是阿里云副总裁金戈先生,聊得最多的是出自NUDT的同门小师弟,现为阿里云业务架构师的潘旻喆。


42ebabab757c6e67de490775e720f8808048b758


说说本次阿里之行最大的感受,就是阿里搞接待的妹子都特么漂亮,阿里真正最强大的技术其实并不在于淘宝、天猫又或是支付宝,而是云计算。话说云计算这个概念已经火了好几年了,但是如何跟业外人士解释清楚仍然是个问题。今天我来尝试一下。嗯,咱们先从双十一说起,这个大家都熟,就是阿里最先炒作起来的购物狂欢节,2016年的双十一,天猫又创下了单日交易额1207亿的新纪录,这个很多媒体都曾报道过。但是,在这背后,另外一组数据关注的人就少多了,比如这一天共计产生6.57亿个物流订单,交易峰值达到每秒17.5万笔,支付峰值是每秒12万笔,而用户是来自全球220个国家和地区。这意味着多么强悍的数据处理能力!如果对这个数字没有感觉,咱们可以对比一下,铁道部官方售票网站12306有据可查的是2015年春运高峰期每天平均售票456.5万张,也就相当于天猫双十一不到1分钟的支付量,但前几年动不动就卡成狗。从2012年起每一年铁道部都信誓旦旦今年作了若干升级保证用户体验完全不一样,然并卵……




这么一对比,大家是否就有感觉了?而在背后能够支撑起双十一这样超恐怖海量数据处理能力的技术,就是云计算。

2009年的时候,阿里的数据中心还是采用IOE架构,嗯,IOE是传统IT三大件,指以 IBM 、Oracle、EMC 为代表的小型机、数据库和高端存储的技术架构。实践中阿里逐渐发现这样越来越不行,一方面维护更新成本极高,钱都让米国人赚去了;另一方面Oracle这种集中式数据库的架构,也越来越不适应海量数据对计算能力的巨大需求。所以在业界第一个提出“去IOE” 。随后又先后尝试采用 Greenplum 和 Hadoop 这样业界顶级的大规模数据处理平台,均发现还是满足不了类似双十一这样全世界的剁手党蜂拥而至的热情,然后才终于决心发展出完全自主可控的MaxCompute(原ODPS)(大规模数据处理平台)https://www.aliyun.com/product/odps,真正实现全栈数据处理能力。




也就是说,目前阿里的云计算技术不但具备完全自主知识产权,更关键的是它是在应对淘宝、天猫、支付宝这样日益增长的海量数据处理包括“双十一”这样严酷考验中成长起来的,这样的实战经验是其它绝大多数厂商所完全不能比拟的。所以,阿里云能够以50%的市场占有率成为国内公有云的一哥,也就绝非侥幸了。附带提一下,2017年春运时候12306网站后台查询数据库已经搬到阿里云上了,所以今年网购火车票终于没有再抽风了。

嗯,我们这次研讨会主题是这个:



事实上,无论大数据、人工智能、虚拟现实等等所有下一代互联网的风口方向,其背后都需要云计算技术来支撑。而很多专家认为,新经济的实质是互联网经济,互联网经济的本质是计算经济,计算经济的基石仍然是云计算。这么说,业外朋友应该能理解,为什么说云计算牛,才是真的牛了吧?

话说马云搞阿里巴巴之前创业也失败了四次,所以我虽然知道淘宝和支付宝已经成为行业的巨无霸,和大众的生活息息相关,但心下总不免认为主要是马云终于抓住了市场机遇,快人一步而已。然而这次看到阿里在云计算上面展现的强大实力,才真正是令人叹服。上周5月18日阿里发布的财报显示,阿里已经超越了腾讯,成为国内市值最高的上市公司。而云计算技术的领先,足以保证接下来至少十年,阿里行业巨无霸的地位仍然无可撼动。

所以这一次虽然木有见到马云,不过我真的还是被阿里圈粉了。其实阿里的企业文化也有很多独到之处,限于篇幅这次就不扯了。


文章转载自云羽花园


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
存储 机器学习/深度学习 SQL
图解大数据 | 分布式平台Hadoop与Map-Reduce详解
Hadoop是最基础和场景的开源分布式计算平台,ShowMeAI在本节内容中给大家讲解Hadoop相关知识。
341 0
图解大数据 | 分布式平台Hadoop与Map-Reduce详解
|
9月前
|
分布式计算 Hadoop Java
Hadoop生态系统中的流式数据处理技术:Apache Flink和Apache Spark的比较
Hadoop生态系统中的流式数据处理技术:Apache Flink和Apache Spark的比较
|
9月前
|
消息中间件 存储 分布式计算
Hadoop生态系统中的实时数据处理技术:Apache Kafka和Apache Storm的应用
Hadoop生态系统中的实时数据处理技术:Apache Kafka和Apache Storm的应用
|
9月前
|
机器学习/深度学习 分布式计算 监控
Hadoop生态系统中的数据处理技术:MapReduce的原理与应用
Hadoop生态系统中的数据处理技术:MapReduce的原理与应用
|
机器学习/深度学习 分布式计算 安全
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
267 0
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
|
存储 分布式计算 资源调度
平台服务 开源 Hadoop|学习笔记
快速学习平台服务 开源 Hadoop
137 0
平台服务 开源 Hadoop|学习笔记
|
存储 分布式计算 Java
大数据存储平台调优之Hadoop优化
大数据存储平台调优之Hadoop优化 在搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后,我们接下来需要对Hadoop集群做一些优化的工作。我们从两个方面来说:一是HDFS存储方面,一是计算方面  1、 HDFS方面: 1> 存储格式的选择 对于分析类型的业务来说,最好的存储格式自然是列存储,因为数据量巨大,只扫关心的数据列无疑具有很大优势。
4780 0
|
分布式计算 Hadoop Java
Windows平台Hadoop环境安装配置
Windows平台Hadoop环境安装配置
105 0
|
存储 分布式计算 监控
基于Docker一键部署大规模Hadoop集群及设计思路
基于Docker一键部署大规模Hadoop集群及设计思路
752 0
基于Docker一键部署大规模Hadoop集群及设计思路
|
存储 分布式计算 监控
腾讯大规模Hadoop集群实践
腾讯大规模Hadoop集群实践 转自:http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。
1878 0