Apache Flink 进阶(一):Runtime 核心机制剖析

巴蜀真人 2019-09-11

阿里云实时计算专项

作者:高赟(云骞)

1. 综述

本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。

2. Flink Runtime 整体架构

Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在 Yarn 或者 K8S 这种资源管理系统上面,也可以在各种云环境中执行。

图片 1.png

图1. Flink 的整体架构,其中 Runtime 层对不同的执行环境提供了一套统一的分布式执行引擎。

针对不同的执行环境,Fl


登录 后评论
下一篇
corcosa
9349人浏览
2019-10-08
相关推荐
Flink 剖析
708人浏览
2016-06-13 15:23:00
Flink 剖析
1040人浏览
2017-11-14 15:31:00
Flink 剖析
933人浏览
2017-11-15 16:06:00
Apache Flink 漫谈系列(02) - 概述
6684人浏览
2018-11-08 15:42:43
Akka在Flink中的使用剖析
1029人浏览
2017-11-21 14:21:00
0
0
0
3609