备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

Apache Spark 系列技术直播 - Spark SQL进阶与实战

2018-12-05 3322
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Spark SQL进阶与实战 Spark相关组件介绍 Spark及其依赖组件 Hive Metastore介绍 Spark Thrift Server介绍 表与ETL Spark表基本概念 Spark建表最佳实践 Spark ETL最佳实践 动态分区表示例分析 Spark SQL查询最佳实践 Sp.

Spark SQL进阶与实战

Spark相关组件介绍

  1. Spark及其依赖组件
  2. Hive Metastore介绍
  3. Spark Thrift Server介绍

表与ETL

  1. Spark表基本概念
  2. Spark建表最佳实践
  3. Spark ETL最佳实践
  4. 动态分区表示例分析

Spark SQL查询最佳实践

  1. Spark SQL查询常见问题
  2. Join优化策略
  3. 数据倾斜优化策略

详情请查看附件

欢迎加入钉钉群收看直播回放
入群方式：
image

文章标签：
开源大数据平台 E-MapReduce
SQL
Apache
分布式计算
Spark
HIVE
关键词：
SQL实战
技术apache spark
SQL技术
SQL apache
Apache sql
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
秋说
|
2月前
|
SQL 关系型数据库 MySQL
【MySQL进阶之路丨第十四篇】一文带你精通MySQL重复数据及SQL注入
【MySQL进阶之路丨第十四篇】一文带你精通MySQL重复数据及SQL注入
秋说
46 0
桃李春风一杯酒
|
8天前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
23 1
洛神灬殇
|
21天前
|
SQL 关系型数据库 MySQL
【MySQL技术之旅】（7）总结和盘点优化方案系列之常用SQL的优化
【MySQL技术之旅】（7）总结和盘点优化方案系列之常用SQL的优化
洛神灬殇
36 1
阿里云瑶池数据库SelectDB
|
28天前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具， Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案，满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移。
阿里云瑶池数据库SelectDB
483 1
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
xleesf
|
1月前
|
消息中间件 分布式计算 Serverless
CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark
CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark
xleesf
51 2
sunrr
|
1月前
|
SQL 存储 Apache
在 Apache Flink SQL 中，并没有内置的 GROUP_CONCAT 函数
【2月更文挑战第16天】在 Apache Flink SQL 中，并没有内置的 GROUP_CONCAT 函数
sunrr
186 2
遇事问春风乄
|
2月前
|
SQL XML Java
【JavaEE进阶】 MyBatis之动态SQL
【JavaEE进阶】 MyBatis之动态SQL
遇事问春风乄
34 0
sumith
|
2月前
|
SQL
14、sql注入绕过技术
14、sql注入绕过技术
sumith
27 0
sumith
|
2月前
|
SQL
小课堂 -- sql注入绕过技术
小课堂 -- sql注入绕过技术
sumith
85 0
Zh.晨光
|
3月前
|
SQL 缓存 Java
JAVAEE框架技术之8-myBatis ORM框架技术参数和动态SQL语句
JAVAEE框架技术之8-myBatis ORM框架技术参数和动态SQL语句
Zh.晨光
62 0
JAVAEE框架技术之8-myBatis ORM框架技术参数和动态SQL语句
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    使用Hive进行OSS数据处理的一个最佳实践
  • 2
    11月14日Spark社区直播【 Spark on Kubernetes & YARN】
  • 3
    YARN中的CPU资源隔离-CGroups
  • 4
    使用Spark Streaming SQL基于时间窗口进行数据统计
  • 5
    用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络
  • 6
    欢迎加入Spark中国社区
  • 7
    数据湖正在成为新的数据仓库
  • 8
    开源大数据周刊-第91期
  • 9
    TCP的backlog导致的HBase超时问题排查
  • 10
    使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hive
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    45
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    201
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    140
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    35
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    395
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117461
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    390
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288
  • 10
    【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定：从入门到精通
    845

    • 相关课程

    更多
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 5分钟上手Flink MySQL连接器
  • 使用SQL语句实现数据插入、修改和删除操作
  • 使用SQL语句实现数据查询操作
  • 使用SQL语句管理索引

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    阿里云oss简介和使用流程