零DBA、零运维,且看熊大及其小伙伴的“三十破百”架构

简介: 现在,网聚宝零DBA、零运维,在网聚宝30个人的技术团队,就可以PK基于Hadoop的百人技术团队。

11+大数据行业应用实践请见https://yq.aliyun.com/activity/156,同时这里还有流计算、机器学习、性能调优等技术实践。此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps;更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data 。

自1959年ChristopherStrachey发表虚拟化论文,到1984年Sun联合创始人JohnGage提出“网络即计算机”,再到2000年左右的SaaS出现及兴起,云计算服务已经经历了近20年的发展。着眼国内,从吸收概念及技术至今已近10年,然而,相信对于大部分人来说,云还只是临渊羡鱼,如何真正地利用云给业务最大赋能仍然无从参考。为此,云栖社区以大数据场景,通过一系列的客户走访带大家探索互联网赋能之路。本或许该有个开篇,但考虑再三,无非多一篇鸡汤尔,遂决定直入主题,从第一个接触的大数据实践公司开始——上海云贝,也就是网聚宝。

网聚宝定位于帮助品牌提供全域的大数据服务,时下帮助马克华菲、杜蕾斯、奔驰等用户,打通全渠道的消费者数据资产,无论是淘宝天猫,还是线下门店,通过数据整合提供了数据可视化和洞察的能力,每天可以处理上亿笔交易,做到不同维度的整合以及个性化地展现,实现数据背后的运营和挖掘,给品牌提供了数据最后一公里的落地。

挑战 vs. 机遇,瞬息万变演化的商机

作为一个快速发展中的创业团队,大部分精力必须集中在为用户提供数据应用的能力,这对于网聚宝来说既是挑战亦是机遇——熊大。

时至今日,对于品牌来讲,随着移动支付,和整个电商的更大规模覆盖,品牌已经积累了足够多(海量)的数据,网聚宝创始人兼CEO熊大(熊晓东)表示。在这之外,随着各行各业竞争的加剧,品牌对实时性的需求也越来越大,在原销售模式中,一个报表30天出来给到决策部门可能并没问题,但是在市场瞬息万变的当下,上一秒交易,这一秒可能就要出分析。同时,更大的挑战在于未来对商业智能的应用场景,怎么样使用大数据帮助品牌洞察出更多“意料之外,情理之中”的商业价值,更加关键。举个例子来说,有个洗车机的用户,其本身定位是二三线的有车一族,但通过数据洞察发现,买洗车机的都是农民,他们更多是买回去洗红薯,这证明大数据可以帮助用户分析出潜在的商机,这里存在的挑战就是帮助用户发现数据背后的价值,为品牌赋能。因此,这里需要一个非常专业的大数据平台,提供丰富的大数据处理能力,对于这个时代的人来说,这既是挑战也是机遇。

自建 vs. 上云,创业路上的生死抉择

对于任何创业公司来说,人才是不得不面临的问题,因此对于网聚宝来说,招业务还是技术上有深入钻研的人并没有什么好纠结的。现在,网聚宝零DBA、零运维,而公司需要更多懂大数据、懂业务的综合人才——熊大。

2011年刚开始创业,最初托管几台机器,老是断网。而Hadoop最早也有涉猎,但是创业公司人力资源有限,特别是那个时候的上海;同时,如果只招一个两个肯定不够,搭建、运维、开发,至少也得五六个。限于这些原因,那个时候面对竞争对手很被动,他们会说我们有十五六个在搞Hadoop,数据只需要放在自己的机房中,这些对客户来说都有着很大的吸引力,在交流中熊大回忆道。

DT和IT的区别就好比汽车与马车的生产力区别,谁胜谁负取决于市场现状,几年前,云还没有那么完善,跑在泥土路上的汽车日子显然没有马车好过,然而随着阿里等有能力的互联网公司建立了足够好的道路后,汽车服务提供商给用户带来的速度与体验显然超过了以往——熊大。

在阿里云的强力配合和支持下,我们还是坚持了下来,放弃了原有的Hadoop。而随后,到云变成像水电煤一样的基础设施后,对于创业公司来说,云服务成熟度远超Hadoop这些开源软件,这个时候就会发现,这些会应用阿里云的人,业务创造能力是那些玩Hadoop同学的许多倍,直接产生业务价值,而用户最需要的就是这些。这样一来,我们就拥有了足够竞争优势的成本,和业务拓展的速度,来给用户提供大数据处理的能力。对于原来的那些对手,Hadoop已成为技术负担,积累全在上面,丢掉则放弃了原有的竞争力,不丢掉是否还要上云,这时候变成了我们乘胜追击的时候。ALL IN云上,为用户提供更多的数据能力。在网聚宝30个人的技术团队,就可以PK基于Hadoop的百人技术团队。员工具备业务思维,看得懂背后的需求,和需求背后的价值。

自建 vs. 上云,技术选型优势及网聚宝架构

网聚宝拥有一支很萌的团队,熊大是创始人,机器猫是首席架构师,尼莫是市场策划总监。而对于上云在技术选型上的优势,机器猫表示:选择云服务架构,对创业团队发展有非常大的优势。

在使用云服务做架构时,底层基础能力对用户来说相当于一个黑盒,这样就可以把注意力放到业务的价值模型和技术的架构模型的统一上,从而对市场反应速度远超他人。如果真的发展到某一天,云服务满足不了业务需求,但是鉴于云服务已经划分清楚了明确的边界,所以在此边界内自主实现相应能力是一个收敛的问题,所以完全可以自己根据业务建设边界内的基础能力。如果创业公司一开始从零开始完全自主建设所有能力,很可能造成边界的蔓延,比如一部分本来应该在数据层的能力放到应用层中,AP的数据放到了TP来实现等等。这些蔓延最终会表现为隐性的耦合,从而大大减少了技术架构的生命期。云服务有一个非常明显的特性,他会将底层能力与上层应用切割,同时将通用能力与具体业务逻辑分开,所以在未来开发中,很适合创业团队根据业务需求去快速搭建自己的系统。基于这些,网聚宝现在的架构如下:

e8e6ae4f9793169a44e096cf0b6c541e5d647749
使用的阿里云数加产品主要有:大数据计算服务(MaxCompute),大数据开发套件(DataIDE),分析型数据库(AnalyticDB),阿里云流计算(StreamCompute),公众趋势分析,推荐引擎(RecEng),数据集成(Data Integration)。

数据来源。最下面是底层可以收到的数据来源,第三方自有的平台,给自己的系统做对接和同步;公共的电商平台;公开的信息平台,百度贴吧、微博;三大种类数据源,通过十几个,几十个数据采集服务,采集到数据中心。

数据中心。采集到数据以后,强关系型数据会进入关系型数据库;同时,使用了大量的高性能的非关系型存储,使用了阿里云大致4种产品,分别对应了快和慢,弱结构和强结构,规范和零散。

数据处理层。通过数加提供的IDE来做数据加工的服务,主要目的是为了上层的数据分析。

数据分析。离线型报表,和实时分析。

通过机器猫了解到,网聚宝还使用了一些数加的特有服务,比如趋势分析、推荐引擎。此外,还使用了一些特色生态服务,在不是特别大体量下做全链路的数据处理。当然,在此之下是一些基础服务,比如云服务器、可配置部署、任务调度器、消息队列等等,此外,同样也使用了整体服务治理的微服务框架,以及运维套件、展现监控信息、自动部署组件、对于开发有用持续化发布的套件等等。上层是具体的应用服务,比如数据分析类服务,带有很强的数据聚合和处理特性,比如效果分析、透视表、报告关联、商品分析等等。

最上层则是网聚宝具体的应用,不同服务解决不同问题,最终解决问题有一定方向性,以此组成这个SaaS应用的产品链路。其实有很多产品,有很多小的服务组成。相对SaaS来说,还有一些PaaS,比如一些API,PaaS+DaaS,非常细粒度的服务,支撑特定维度下的特定数据的相关服务,可以给二次开发者,及其他数据集成伙伴使用。最后,还有一些营销相关服务,与平台中其他的服务做关联。为品牌在大数据的精准营销和多端互动上,提供了真实的场景,给消费者提供基于大数据的完整体现。

3000多家品牌客户,大数据红利已经到来

作为数加用户,该平台能够提供的大数据能力是什么,无论是海量数据处理,还是实时计算,首先考虑的就是平台的成熟度,当然背后还有能陪我们996战斗的数加兄弟,无论是技术能力的判断,还是从商业合作的角度,这是选择数加的原因,被问到为什么会选择阿里云和数加,熊大如是说。

同时,发展至今,网聚宝现在已有3000多家品牌客户,国际上包括,哥伦比亚,狼爪,The North Face®北面;国内,佐丹奴,意尔康,丽婴房;纯电商,顺丰海淘,美美箱,新兴的移动电商;零售、快消、线下服务业、金融方面,各个维度的消费者品牌用户。

最后,熊大还表示,大数据对很多品牌已经不是概念,帮助提升业务销售的资源,杜蕾斯,威露士通过大数据的深度营销和应用,提升老客户付购这一端带来直接销售提升。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
人工智能 运维 监控
构建高性能微服务架构:现代后端开发的挑战与策略构建高效自动化运维系统的关键策略
【2月更文挑战第30天】 随着企业应用的复杂性增加,传统的单体应用架构已经难以满足快速迭代和高可用性的需求。微服务架构作为解决方案,以其服务的细粒度、独立性和弹性而受到青睐。本文将深入探讨如何构建一个高性能的微服务系统,包括关键的设计原则、常用的技术栈选择以及性能优化的最佳实践。我们将分析微服务在处理分布式事务、数据一致性以及服务发现等方面的挑战,并提出相应的解决策略。通过实例分析和案例研究,我们的目标是为后端开发人员提供一套实用的指南,帮助他们构建出既能快速响应市场变化,又能保持高效率和稳定性的微服务系统。 【2月更文挑战第30天】随着信息技术的飞速发展,企业对于信息系统的稳定性和效率要求
|
8月前
|
运维 负载均衡 关系型数据库
【运维知识进阶篇】用Ansible Roles重构LNMP架构(Linux+Nginx+Mariadb+PHP),实现4个项目一键部署
【运维知识进阶篇】用Ansible Roles重构LNMP架构(Linux+Nginx+Mariadb+PHP),实现4个项目一键部署
112 0
|
4月前
|
运维 数据可视化
电子好书发您分享《可视化架构运维实践》
电子好书发您分享《可视化架构运维实践》
47 2
|
4月前
|
运维 关系型数据库 MySQL
阿里大牛的595页MySQL笔记,透彻即系数据库、架构与运维
数据库运维的变革,经历从手工造到脚本化、系统化、平台化、智能化的转变,逐步实现DBA对数据库的规范化、自动化、自助化、可视化、智能化、服务化管理,从而保障数据库的安全、稳定、高效运行。
|
6月前
|
存储 运维 关系型数据库
直播预告 | PolarDB-PG架构简介及日常运维浅析
本次分享将先从架构、特性、开源等三个维度解读PolarDB-PG的整体架构。在大家对架构有一定深入理解后,将继续从备份恢复、存储层、计算层扩容、只读节点提升、高可用等五个维度,对PolarDB-PG的日常运维进行深入浅出的介绍,为“唯手熟尔”的运维打好理论基础。
|
7月前
|
NoSQL 测试技术 API
从程序员到架构师开发运维场景实战篇:一人一套测试环境
一人一套测试环境 本篇开始讲第16次架构经历:一人一套测试环境。同样,先介绍业务场景。 业务场景:测试环境何时能释放出来使用 当时,公司的基础设施使用的是虚拟机,而且还未迁移到容器。
|
8月前
|
运维 负载均衡 关系型数据库
【运维知识进阶篇】Ansible实现一套完整LNMP架构
【运维知识进阶篇】Ansible实现一套完整LNMP架构
139 0
|
8月前
|
域名解析 缓存 运维
【运维知识进阶篇】集群架构-Nginx性能优化 (二)
【运维知识进阶篇】集群架构-Nginx性能优化 (二)
111 0
|
8月前
|
缓存 运维 网络协议
【运维知识进阶篇】集群架构-Nginx性能优化 (一)
【运维知识进阶篇】集群架构-Nginx性能优化
141 0
|
8月前
|
运维 应用服务中间件 网络安全
【运维知识进阶篇】集群架构-Nginx高可用Keepalived(二)
【运维知识进阶篇】集群架构-Nginx高可用Keepalived(二)
117 0