X-Pack Spark归档POLARDB数据做分析

巴客 2019-05-06

数据库 配置 集群 测试 Image 控制台 spark aliyun test 分区表 工作流

简介

POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎,旨在打造数据库闭环,借助X-Pack Spark可以将POLARDB数据归档至列式存储Parquet文件,一条SQL完成复杂数据分析,并将分析结果回流到业务库提供查询。本文主要介绍如何使用X-Pack Spark数据工作台对POLARDB数据归档。

业务架构

业务需要对多张表出不同纬度,按天、按月的报表并对外提供查询服务;最大表当前500G,数据量还在不断的增加。尝试过spark直接通过jdbc去分析POLARDB,一方面比较慢,另外一方面每次扫全量的POLARDB数据,对在线业务有影响。基于以下几点考虑选择POLAR

登录 后评论
下一篇
我是你爱豆
404人浏览
2019-08-22
相关推荐
Spark入门介绍
1076人浏览
2019-06-22 23:06:22
X-Pack Spark用户手册
1108人浏览
2019-06-18 16:56:25
生态篇-HBase 生态介绍
963人浏览
2019-01-08 15:12:03
X-Pack Spark使用[FAQ]
407人浏览
2019-07-25 15:32:21
阿里云数据库POLARDB
903人浏览
2019-06-08 11:01:11
2
1
1
7728