用Flink取代Spark Streaming!知乎实时数仓架构演进

Ververica 2019-06-27

大数据 架构 etl 日志 数据处理 spark 报表 流计算 flink 实时计算 AI及大数据

作者 | 知乎数据工程团队

“数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。

本文主要讲述知乎的实时数仓实践以及架构的演进,这包括以下几个方面:

  • 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。
  • 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。
  • 实时数仓未来展望:Streaming SQL 平台化,元信息管理系统化,结果验收自动化。

实时数仓 1.

登录 后评论
下一篇
云攻略小攻
2034人浏览
2019-10-21
相关推荐
Lambda plus: 云上大数据解决方案
1768人浏览
2019-05-29 10:51:19
1
4
0
1225