MaxCompute Spark与Spark SQL对比分析及使用注意事项

亢海鹏 2020-02-25

SQL 数据库 配置 集群 测试 spark 开发环境 MaxCompute

演讲嘉宾简介:沐行,阿里云智能技术支持工程师。

本次直播视频精彩回顾,戳这里!
以下内容根据演讲视频以及PPT整理而成。
本次分享主要围绕以下三个方面:

一、功能特性
二、代码开发
三、DataWorks模式

一、功能特性

1.Spark部署模式
Spark开源文档中表明部署模式支持几种部署模式,如stand alone模式、on yarn模式、on k8s模式等。但是其中并不包括Spark on MaxCompute模式。Spark on MaxCompute其实是 MaxCompute平台对开源的Spark做的兼容支持,使得 MaxCompute平台得以支持运行Spark的作业。在部署的集群方式上,on yarn、on k8s集群云上部署时需要购买ECS部署Hadoop集群或者容器集群,或者是使用阿里云的产品,如EMR、容器服务。与用于自己搭建

登录 后评论
下一篇
云栖号
7967人浏览
2020-03-04
相关推荐
一文快速了解MaxCompute
4714人浏览
2019-03-04 02:48:55
MaxCompute Spark开发指南
3425人浏览
2019-03-04 02:55:17
使用Alluxio高效存储Spark RDD
2947人浏览
2017-03-03 16:49:02
21分钟教会你分析MaxCompute账单
3483人浏览
2019-01-16 15:15:59
阿里云MaxCompute 2019-7月刊
11761人浏览
2019-08-02 16:15:46
0
0
0
1007