日均处理万亿数据!Flink在快手的应用实践与技术演进之路

Ververica 2019-07-17

大数据 数据处理 集群 source 磁盘 存储 流计算 实时计算 快手 应用案例 Apache_Flink

作者:董亭亭
整理:蒋晓峰

作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学,曾就职于奇虎 360、58 集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。

本次的分享包括以下三个部分:

  1. 介绍 Flink 在快手的应用场景以及目前规模;
  2. 介绍 Flink 在落地过程的技术演进过程;
  3. 讨论 Flink 在快手的未来计划。

一.Flink 在快手应用场景与规模

1. Flink 在快手应用场景

_05_jpeg

快手计算链路是从 DB/Binlog 以及 WebService Log 实时入到 Kafka 中,然后接入 Flink 做实时计算,其中包括实时 ETL、实时分析、Interval Join 以及实时训练,最后的结果存到 Druid、ES 或者

登录 后评论
下一篇
云栖号资讯小编
547人浏览
2020-06-01
相关推荐
Apache Flink Meetup · 北京站
3058人浏览
2019-06-06 14:40:44
1
10
0
7031