不止于流,615杭州流计算峰会圆满举行

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 6月15日,阿里云流计算杭州峰会在阿里巴巴西溪园区曼陀山庄隆重举行,原本限定100人的规模,现场座无虚席。本次阿里云流计算杭州峰会,聚焦实时大数据处理,邀请了袋鼠云、鸥新软件和阿里集团技术、产品深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。
      6月15日,阿里云流计算杭州峰会在阿里巴巴西溪园区曼陀山庄隆重举行,原本限定100人的规模,现场座无虚席。本次阿里云流计算杭州峰会,聚焦实时大数据处理,邀请了袋鼠云、鸥新软件和阿里集团技术、产品深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。

1529573234774-07056e26-4fa3-4ab9-81d0-3d
     流计算的产生即来源于对于上述数据加工时效性的严苛需求: 数据的业务价值随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式,即以小时甚至以天为计算周期对当前数据进行累计并处理,显然这类处理方式无法满足数据实时计算的需求。
    在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域,批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而流计算作为一类针对流数据的实时计算模型,可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本,最终有效满足实时处理大数据的业务需求。

1529572518731-84110b40-caaf-4c04-af75-7f
    阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,经历了全球历次双十一的技术大考——1.8亿/秒的数据洪峰’,‘全链路延迟三秒,流计算延迟一秒以内’。阿里云流计算产品已具有国际领先的产品优势,在吞吐/时延、SQL支持、开发体验、窗口支持、乱序支持、上下游对接等多方面都优于其他云厂商的产品。通过它,您可以快速搭建具有亿级QPS处理能力的流式大数据系统。

1529572493661-e9a87d1a-0165-47a7-9179-87
陈守元(巴真)
阿里巴巴
产品专家
   相对于批数据来说,流计算其实还是算是一个比较新颖的概念。但也同样拥有着相当广泛的运用场景。随着互联网+、物联网、大数据时代的逐渐到来,数据在推动社会进步和变革的步伐越来越快。流计算也有了越来越多的机会帮着传统企业进行转型和升级。可能很多用户目前还没有意识到流计算的内容、作用。我们也是希望通过这种一系列的活动来告诉大家,什么是流计算,流计算能为大家做什么,以及在具体业务中怎么提升企业效率和经济效益。

让业务实时,让数据发电
1529572700133-b3b049c9-ed2a-4bdb-9b09-2e
郭华(付空)
阿里巴巴
流计算产品负责人
    付空主要从产品层面,介绍了阿里流计算的工作内容、与大数据实时化的解决方案,阿里对于流计算的思考,以及典型案例。此前,流计算一般宣传用户实时报表,演示大屏的场景较多。而现在实时推荐,实时风控等场景也在逐渐成为流计算的实践案例。

如何巧妙运用流计算?
1529572777998-371cd7c1-9868-4233-b7bf-a9
蔡新峰
鸥新软件
技术总监、合伙人
    上海鸥新与阿里云流计算合作较早,使用场景中,对流计算更有创新性的运用。蔡新峰主介绍了原理、应用场景,以及鸥新在客流分析系统上使用阿里云流计算带来的效益。

Blink SQL技术及原理揭秘
1529572845728-d0c786f2-eee5-4c56-8f11-e8
孙金城(金竹)
阿里巴巴
技术专家
     随着近些年大数据技术的不断发展和成熟,无论在传统行业还是互联网公司,批处理计算都无法再满足对数据与日俱增的实时性的要求。流计算已经从Nice to Have变成了Must to Have,流处理的场景越来越多,需求越来越强烈。金竹的演讲重介绍Flink SQL关键核心技术,并对个别算子进行底层实现和原理进行介绍。

袋鼠云如何解决茅台销售过程中的‘黄牛’问题?
1529572946466-5f1b1ace-b118-4bc0-af27-d5
訚赛华(勒蔑)
袋鼠云
技术架构师
     基于茅台电商的业务痛点和实时业务监控需求,结合阿里云流计算平台,袋鼠云在如何新零售行业,提升企业运营和决策效率的问题上也有很多自己的思考。

Blink之数据湖
1529573018591-19c0fd3a-ccfa-4f07-858e-50
张荣(荣蓉)
阿里巴巴
高级产品经理
    荣蓉重点介绍流计算推出的新功能:Data Lake场景下的数据清洗,数据传输以及数据分析等能力。结合IoT行业具体场景,展示Blink在数据湖场景下的使用方式及优势。


1529573075520-37daff2f-d2b3-41c5-afb9-58
蒋晓伟(量仔)
阿里巴巴
研究员
    此外,阿里巴巴实时计算团队负责人量仔在现场接受了浙江电台的专访。
   量仔也对流计算团队和业务作了总结和介绍:我们整个部门是阿里集团计算平台事业部,负责阿里集团整个底层数据计算平台的构建,目前阿里集团内部所有的大数据业务的计算都运行在由我们构建的基础平台之上。同时,我们对外通过阿里云平台,向全社会开放我们的计算能力,希望人人都能够享受到阿里巴巴一流的计算能力。我这里团队主要基于Apache Flink构建阿里集团的实时计算平台,我们希望通过Flink领先的技术,能够推动阿里集团以及外面各行各业的大数据全面进入实时计算。

    阿里云流计算可以提供BlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时,受限于SQL代码功能有限无法满足某些特定场景的业务需求,阿里云流计算提供全功能的UDF函数,帮助用户完成业务定制化的数据处理逻辑。在流数据分析领域用户直接使用BlinkSQL+UDF即可完成大部分流式数据分析处理逻辑,目前的流计算更擅长于做流式数据分析、统计、处理。主要解决了用户的三大痛点:
   1.流式数据的及时性;
   2. 一站式的流式数据处理;
   3. SQL化的流式分析

   同时,实现实时的数据监控/分析。比如BI人员可以看到自己网站实时的访客数据变化,购买情况,交易额波动等,不需要一段时间后才能做统计和分析。之前150人/月的工作,现在只需3个人/月就可以轻松解决,效率提升了50倍。

   阿里云流计算在4月商业化正式上线,上周推出‘新用户免费试用一个月’活动,同时起售门槛降至‘2个CU’,对流计算有场景需求的用户可以立即申请:https://data.aliyun.com/product/sc

嘉宾演讲PPT下载:
阿里巴巴-付空《流计算-让业务实时,让数据发电》:https://yq.aliyun.com/download/2815
上海鸥新-蔡新峰《应用分享》:https://yq.aliyun.com/download/2816
阿里巴巴-金竹:《Blink SQL关键技术及实现原理》:https://yq.aliyun.com/download/2817
袋鼠云,勒蔑《流计算,让新零售起飞》:https://yq.aliyun.com/download/2819
阿里巴巴-荣蓉《Blink_Data_Lake》:https://yq.aliyun.com/download/2820

活动录播视频:http://www.itdks.com/eventlist/detail/2287
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 Cloud Native 数据管理
【预约直播】2022全球数据湖峰会盛大启幕
【预约直播】2022年3月31日 全球数据湖峰会盛大启幕
878 0
【预约直播】2022全球数据湖峰会盛大启幕
|
消息中间件 Dubbo Kafka
云栖大会 | 开源引力峰会线下参会指南
在各种纷乱的信号与噪声中,阿里是如何在商业成功和以开源为代表的工程师文化中平衡?我们该如何理解开源和商业的关系、云厂商和开源项目的关系?
527 0
云栖大会 | 开源引力峰会线下参会指南
|
SQL 资源调度 Kubernetes
百城汇杭州站大数据实时计算实战专场圆满落幕
9月19日下午2:00,来自杭州及周边地区的开发者们齐聚阿里巴巴EFC欧美金融城园区,共同参与百城汇·杭州站:大数据实时计算实战专场,共享数字时代的欢聚。
1671 0
百城汇杭州站大数据实时计算实战专场圆满落幕
|
新零售 数据挖掘 BI
阿里巴巴数据分析沙龙 杭州站圆满召开
3月4日,2019年第一场阿里巴巴数据分析沙龙在杭州西溪园区圆满召开。 本次沙龙共邀请了40位数据领域的专业观众,一同探讨数据分析的技术与产品。 会上阿里巴巴高级产品专家晓草位大家介绍了阿里巴巴内部的数据团队演变历程,同时也给企业的BI选型提供了思考方向和能力建议。
1594 0
|
新零售 分布式计算 安全
|
人工智能 大数据 分布式数据库
中国HBase技术社区第三届MeetUp —HBase应用实践专场(杭州阿里西溪园区)
HBase—Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。HBase的特点是高可靠性、高性能、面向列、可伸缩的分布式存储系统,如今HBase已经广泛应用于各互联网行业。
1789 0
|
新零售 运维
【杭州云栖·电商平台专场演讲】新零售基础设施 看阿里巴巴如何打“地基”
经过两年探索,“新零售”从星星之火已发展到现在的燎原之势,许多原有的传统模式正在被打破,先进的智能技术和数据正在给传统的零售赋予更多的能力,带来更大的想象空间。 在2018年杭州云栖大会的电商平台专场中,阿里巴巴信息平台事业部的资深技术专家祁越分享了阿里巴巴在新零售基础设施中的一些探索。
2447 0
|
大数据 流计算
洞察数据,洞见未来——6.15流计算杭州峰会重磅来袭
阿里云流计算(Alibaba Cloud StreamCompute)是一个一站式、高性能、稳定、易用的流式大数据处理平台,通过它,您可以快速搭建具有亿级QPS处理能力的流式大数据系统。 流计算团队将于6月15日(13:10-17:00点)在西溪园区举办阿里云流计算杭州峰会,聚焦实时大数据处理,邀请阿里云流计算客户和阿里集团内客户深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。
1913 0
|
分布式计算 大数据 MaxCompute
MaxCompute携手ofo小黄车与阿里妈妈—邀你共赴大数据计算北京高端峰会(含技术干货整理)
ofo小黄车如何通过MaxCompute轻松处理每天千万订单,提升线下运营效率50%以上,提升整体运行效率76%? 阿里妈妈在搜索广告、定向广告、达摩盘、报表和BI分析等常见场景下是如何使用MaxCompute的? Noxmobi自建业界领先的DSP、SSP、ADX等广告系统,其中最重要的底层数.
4117 0