数据进入Maxcompute的N种方式,大数据实战Demo系统数据上云实践

云迹九州 2018-07-27

大数据 架构 模块 数据流 配置 数据仓库 数据迁移 logstash 同步 脚本 数据同步 demo 异构数据 存储 MaxCompute

2018 “MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统,它能够实现自动全链路的大数据处理流程,其中包括离线的和实时数据的,接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!
直播视频回顾
PPT下载请点击
以下内容根据现场分享整理而成。

大数据中心的架构

image001


上图为大数据实战Demo的整体架构,它的上云方式是离线的。要实现大数据实战Demo的应用,架构必需包含数据源系统、数据仓库、大数据应用系统平台、Web/应用平台、流程调度、数据加工及展现、实时处理平台,其中数据仓库包含临时层、基础数据层和应用层三个层次。
在整个架构中,数
登录 后评论
下一篇
我是你爱豆
7212人浏览
2019-08-22
相关推荐
0
1
1
3402