【逐云】阿里“水电煤”背后的人物故事

简介: 《逐云》第三期,我们拍了阿里巴巴通用计算平台负责人关涛,记录了他的学生时代,以及为什么从美回国来到阿里巴巴做通用计算平台,以及他对未来的展望。

TB1c8kqXotWMKJjy0FaXXcCDpXa-700-200.png

《逐云》是云栖社区的一档人物记录短视频栏目。一共10集。锁定云技术领域,每期记录1位云技术细分领域的代表专家,见证云技术先行者在时代潮流下的选择与追寻、坚持与自由。了解更多云栖专家分享,请点击云栖专家频道,当然我们也欢迎你往前走一步,成为我们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一起“煮酒论英雄”。


本期人物:阿里巴巴通用计算平台负责人关涛


以下为关涛讲述:


学生时代:一路保送,但可能不是你想象中的学霸


可能我不是那种大家想象中的学霸。爱读书,但也很爱玩。我觉得兴趣是最重要的。读书经历的话,一路基本没考过试。初中到高中是保送,高中到大学因为数学竞赛保送了南开大学,读的计算机专业。选择计算机,是因为从小特别爱玩游戏,边玩还会边修改存档,就这样迷上了计算机。后来大学到研究生,是从南开推荐到了天津大学,带我的导师在网络方面研究成果很领先,也是通过他在计算机的领域里走得更深入。


除了游戏,也很爱运动。工作后没了那么多时间玩游戏,但会一直坚持运动。在微软时也曾做过微软中国网球协会主席,拿过微软大部门网球联赛的冠军。很爱单板滑雪,之前也一直坚持在每年的最后一天自驾去不同的滑雪地滑雪。

   

初入社会:微软最年轻的技术管理者之一,带跨国团队更具挑战


研究生毕业后,拿到了微软的offer,一做就是6年。在微软的第一个项目,是做基础架构,主要负责分布式系统。在当时的体量还是很大,团队有几千台机器可以布局。最考验的是系统的拓展能力,这个经历也成为了后来逐步往上做的基础。


第二个项目,是做搜索后台,那时整个业界搜索技术也刚起步,可以理解为是从0到1的过程,到后来这个搜索后台也成为了微软后台最重要的搜索架构之一。


做完了这两个偏存储层面的后台后,开始往上做,做大数据,更偏重于计算层。也就是在微软的第三个项目:交互式查询。从最初牵头来做这个项目到经历各种系统的升级更新,做到后面基本微软一半以上的团队都在用这个系统。


做到这里,在微软国内已经算是比较资深的员工,刚好在做组织架构调整,希望可以接受更大的挑战,便决定去到美国那边的对口组,在那边工作了两年的时间。这期间继续深入做交互式查询、优化推动等,因为在微软比较早就开始带团队,在美国那边也是带团队,不过这次是多国的战队。也是在那时积累了很多团队管理的经验,包括如何带领多国成员组成的团队,如何与远程团队沟通等。


阿里人:从微软到阿里,技术信念的回归


在微软工作将近10年,中国美国都工作过,带一个团队做交互式大数据计算这个领域,当时是一个比较“得心应手”的状态。微软也是大型工作,内部可以换到各种不同的工作和岗位,之前大约每两年也会make some change。过去的十年,以BAT为代表的本土公司也发展的很快,一直很好奇哪些技术、风格、文化上的特点驱动了BAT。所以当时有了阿里的机会,也很好奇希望更深入的了解,也算是make a bigger change。


从工作性质上,还是很match,都是大数据引擎(规模上有较大差异),而且阿里在国际化方面有投资,也需要跨国经验,之前的技术,工程和管理经验都能复用。


另外,我在很小的时候,有一次到中关村玩。有两个广告牌给我留下了深刻的印象,到现在我都记得,一个是联想的“人类失去联想,世界将会怎样”,一个是金山软件“为国产软件的发展而奋斗”,这两个广告体现了。。。。。。。兜兜转转十年,转回到阿里,做通用计算平台(Maxcompute),也算是为国产软件而奋斗了。


在微软做了近10年,一路都是在核心项目上深挖,也是在业界比较领先的技术上向前走,当时国内的BAT也有了加速的发展,很多地方速度超越了微软、谷歌这样的外企,正巧阿里在西雅图成立了分部,对阿里技术一直比较看好,再加上技术线和自己也很匹配,便来到了阿里,成为了当时阿里西雅图分部的第22名员工。    


之前也一直带北京和美国的团队。这次在阿里,我管这个叫“两岸三地工作”(太平洋两岸,北京,杭州,西雅图),这个工作状态,确实工作更忙一些,很多会议需要照顾两边的时差,但这也是必要的。杭州和北京团队setup都很齐整,西雅图是我们最近两年的海外研发中心,特别的西雅图的“云谷”,云计算北美的三巨头都在,希望通过海外人才的引进,进一步提升我们竞争力。这方面需要加大投资,付出一些时间和沟通成本也是值得的。


随着三边团队融合和成熟,情况已经不错了。研发全球化一些优势已经开始体现,例如24小时全球事情cover的值班能力,国内/海外的客户和合作伙伴会议,可以就近参加(例如与Intel美国团队的合作,由西雅图同学完成)。


责任:在阿里,开启的是一场大的硬仗


在阿里我有一种感觉,就是事比人多,可做的事情非常多。就好像带领一个大战队,去打一场很大很持久的硬仗。关于计算平台,你可以想象一座航母,本身系统很复杂,周期也很长,这个航母的每次转型都耗资巨大,但如果转型的方向正确,战斗力里一定会非常地强。计算平台之于阿里,便是类似这样一个存在。


在阿里负责的是带整个计算平台(Maxcompute)的团队,在之前,阿里是各个业务部门会搭自己的数据平台,现在是统一收到一个统一的大后台中,计算平台便是这个统一的平台,也是整个阿里巴巴的数据中心。阿里内部超过95%的数据都在这个平台上,每月的月活有一万多人,也就是每4个阿里员工中就会有1个人在用这个系统,每天的获阅量有300万左右。阿里这么多业务线的数据汇总在一起,数据也就具有了一加一大于二的特性,所有这些数据综合在一起也是阿里巴巴最大的数据价值之一。如果这个平台一旦不工作,举例说,像支付宝的商户订单、商家商户的统计信息以及商品的维度信息等都会缺失掉,影响是非常难以想象的。


来到阿里,最开始就在和其他架构师一起,对这个计算平台进行一次全面的革新,将性能提升了一倍。一倍可能很多人会没有明确的概念,举例来说,性能提升5%可以省去的预算时一个亿,那么一倍的话其实是节省了20亿的预算。


计算平台最典型的应用,便是每年的双十一。双十一期间我们团队会值48小时的班,第一天支撑实时流量和交互式查询,第二天需要支撑分量的信息,中间不能有间断。每年双十一结束的时候,计算平台也会迎来全年最大的洪峰期,数据量会暴涨三倍到五倍的样子,非常考验整个数据平台的能力,所以真的是一场很大的硬仗。


对未来的展望:让计算平台(Maxcompute)成为阿里的“水电煤”


针对计算平台的未来,是希望它可以普及成为“水电煤”一般的基础设施。具体的方向,一是要有匠心也要有深耕,要从以业务为主能上能下,转变为可在某一个领域深耕,能够打造业界影响力的一个状态。二是生态线上有非常多的地方值得我们学习,也值得去整合,希望可以做到闭源系统与开源平台很好的互动,在保证数据资源都统一的基础上,能够保有既有资源系统最核心的能力,比如更安全、更高效、功能更强的优势,也能支撑开源系统更好的生态性,从而找到这中间的结合点。我也很坚信,目前我们做的方向是对的。希望自己可以带领阿里计算平台这座航母,开得更远。


就我个人而言,也是希望可以以内部和外部业务为导向,把计算平台(Maxcompute)这座航母本身的战斗力提升上来,在业务、科研、高校等领域打造影响力,把它打造为世界上最好的计算平台(Maxcompute)。


相关内容:


1.关涛的个人博客

2.阿里巴巴大数据-玩家社区

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
11月前
|
机器学习/深度学习 人工智能 达摩院
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-百年奥运的瞬即美学:凌空之美,分秒凝结—AI编辑部“云智剪”(中)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-百年奥运的瞬即美学:凌空之美,分秒凝结—AI编辑部“云智剪”
111 0
|
11月前
|
人工智能 达摩院
|
人工智能 算法 UED
从直男审美到时尚达人,这群阿里工程师要让服饰行业换个玩法!
从买家搜索到人工智能推荐,消费者离自己最想买的衣服越来越近,未来,FashionAI会让传统服饰品牌的设计、生产、售卖、营销发生革命性变化。
2568 0
|
机器学习/深度学习 数据采集 人工智能
《长安十二时辰》背后的文娱大脑:如何提升爆款的确定性?
本文整理自LiveVideoStack线上分享第三季,第九期,由阿里巴巴资深算法专家,蔡龙军(牧己)为大家详细介绍如何在制作和播出阶段,利用AI和大数据来提升重要环节的确定性,进而提升内容爆款的可能性。
538 0
《长安十二时辰》背后的文娱大脑:如何提升爆款的确定性?
|
算法 搜索推荐 5G
张朝阳直播带货首秀,如何用新玩法抓住眼球?
6月8日晚7点,搜狐公司董事局主席兼CEO、搜狐视频CEO张朝阳在搜狐视频APP关注流中开启个人直播带货首秀。
马云再次提到教育相关话题; 果冻有家:租房场景中的共享社交融合
马云再次提到教育相关话题; 果冻有家:租房场景中的共享社交融合
351 0