如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。

随着数据量的爆发,AI走上风口,典型的大数据业务场景下数据业务最通用的做法是:选用批计算的技术处理全量数据,采用流计算的技术处理实时增量数据。在生产环境中,用户通常采用批处理和流处理两套计算引擎来支持这两种场景。弊端就是需要写两套代码,维护两套引擎,毫无疑问,这种架构带来了额外的负担与成本。

面对全量数据和增量数据,能否用一套统一的大数据引擎技术来处理?

Apache Flink 被业界公认为最好的流计算引擎,其计算能力不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持。为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。

如何下载

长按识别以下二维码,关注“Apache Flink”社区公众号,并在对话框内回复“计算”,即可免费观看视频、下载PPT资料。

Ververica_

为什么要收藏 Apache Flink 系列课程?

2018年市场调查报告显示 Apache Flink 是2018年开源大数据生态中发展“最快”的引擎,相较于2017年增长了125% 。Flink 的社区生态在不断发展壮大,在中国,越来越多的互联网公司在生产环境中采用Flink解决实时计算、流计算、风控等问题,因而,学习 Flink 迫在眉睫。

此次免费公开课共分为9个课时,课程内容包含 Flink 的基础架构、应用场景、集群部署、运行机制、编程范式,为你系统地拆分讲解大数据计算开发引擎Flink。

1.1 为什么要学习 Apache Flink

关键词:Flink 的重要性

课程开篇由阿里巴巴高级产品专家,实时计算产品团队负责人陈守元(巴真)开讲,从开设Apache Flink 系列课程的初衷、Apache Flink 的定义/架构/原理以及学前准备与学习方法与你分享如何高效学习 Flink 系列课程。

1.2 Flink 基本概念

关键词:Apache Flink PMC、有状态的流式处理

本节课程由 Apache Flink PMC、Ververica Software Engineer 戴资力与你探讨 Flink 作为有状态的流式处理引擎的核心概念应当如何理解,Flink 与其他大数据引擎的区别是什么?为什么要使用 Flink 以及有状态的流式处理引擎面临哪些挑战?

1.3 Flink 安装部署、环境配置及运行应用程序

关键词:开发 Flink 必经第一课

破解“知易行难”的方法是实战,第三节内容由阿里巴巴高级开发工程师沙晟阳带你从Flink开发环境的部署、配置、运行,以及不同模式的应用场景入手,示范如何快速正确安装应用Flink,并为你提供了实际应用中可能出现的问题与相应的解决方案。

1.4 DataStream API 编程

关键词:社区网红、深入浅出、通俗易懂

第四节课程开始涉及实际开发,DataStream API是Flink中较为核心的内容,本节由Apache Flink Committer、加拿大约克大学博士后崔星灿现身分享,课程将带你回顾 DataStream API 的概念、设计等基础知识,用示例展示 DataStreamAPI 实用开发技巧并剖析 DataStream API 的部分源码,方便大家快速上手。

1.5 客户端操作

关键词:客户端操作全面使用指南

第五节课程是客户端操作的全面使用指南,由阿里巴巴技术专家周凯波(宝牛)视频演示Flink 的客户端操作,从演示环境、界面、Flink 命令行以及 Flink 的5种任务提交方式进行示范,为后续开发打好基础。

1.6 Window & Time

关键词:Window的数据流程

第六节课程主要讲述Window 相关的概念,课程由阿里巴巴高级开发工程师邱从贤分享,从 Window的基本概念、核心组件以及如何处理乱序数据、迟到数据等讲解,并用代码带你一起梳理整个 Window 的数据流程。

1.7 状态管理与容错机制

关键词:必听课程

第七节课程由美团点评的研发工程师孙梦瑶分享,从状态管理的基本概念,Flink 状态的类型与使用示例、容错机制与故障恢复以及企业应当如何选择状态的类型和存储方式等方面分享并给出参考建议。

1.8 Flink Table API 编程

关键词:SQL 性能中非常核心的部分

Table API 是 Flink 的 SQL 性能中非常核心的部分,本节内容由 Apache Flink Contributor、阿里巴巴高级研发工程师程鹤群分享,对 TableAPI 基本概念、特性进行讲解的同时从 Table API 编程、WordCount 示例、Table API 操作用代码进行示范并分享了 Table API 的社区动态。

1.9 Flink SQL 编程

关键词:一年成为 Committer,“Flink学习博客第一站”

Apache Flink系列课程最后一节由Apache Flink Committer、阿里巴巴高级开发工程师伍翀(云邪)分享 Flink SQL 编程的相关内容,从如何在流上运行 SQL 查询、如何使用 SQL CLI 客户端、如何使用 SQL CLI 消费Kafka数据、如何用 SQL 将结果写入Kafka和ElasticSearch,带你入门 Flink SQL 编程。

你能收获什么?

实现从0到1了解 Flink 建立 Flink 的系统框架体系,为大数据引擎学习打下基础。

  • 通过实际案例,带你快速上手 Flink 这个分布式、高性能、高可用、高精确的为数据流应用而生的开源流式处理框架,带你领略计算之美。
  • 课程内容侧重于原理解析与基础应用,通过对Flink流计算的概念、技术原理、实践操作等详细解析,从最实际的应用场景出发引导你深入了解Flink,帮助你从 Flink 小白成长为 Flink 技术专家。

课程内容既包含 Flink 相关企业使用者的经验分享,又有 Flink 核心开发者的理论实践,既有广度分享亦有深度探讨,实乃大数据爱好者学习 Flink 的居家旅行必备良药!

——巴真(阿里巴巴高级产品专家)

从媒体的最新资讯推送,到购物狂欢的实时数据大屏,甚至城市级计算的工业大脑,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,企业对大数据处理的需求越来越高,Flink的应用也越来越广泛,相信在不久的将来,Flink将会成为各行业不同规模企业主流的大数据处理框架,并最终成为下一代大数据处理框架的标准。越早学习,越能抓住时代先机。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1615 2
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
|
2月前
|
SQL Java API
官宣|Apache Flink 1.19 发布公告
Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.19.0。
1621 2
官宣|Apache Flink 1.19 发布公告
|
2月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
280 3
|
2月前
|
Oracle 关系型数据库 流计算
flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
335 0
|
2月前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
169 0
|
2月前
|
消息中间件 Java Kafka
Apache Hudi + Flink作业运行指南
Apache Hudi + Flink作业运行指南
94 1
|
2月前
|
分布式计算 大数据 Apache
大数据技术变革正当时,Apache Hudi了解下?
大数据技术变革正当时,Apache Hudi了解下?
25 0
|
2月前
|
缓存 分布式计算 Apache
Apache Hudi与Apache Flink更好地集成,最新方案了解下?
Apache Hudi与Apache Flink更好地集成,最新方案了解下?
66 0
|
2月前
|
监控 Apache 开发工具
Apache Flink 1.12.2集成Hudi 0.9.0运行指南
Apache Flink 1.12.2集成Hudi 0.9.0运行指南
68 0
|
存储 SQL API
【对话科技】Flink技术介绍和新功能展望
2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。

推荐镜像

更多