访问spark表

阿里云 > 云栖社区> 主题地图> F> 访问spark表

访问spark表 相关的博客

X-Pack Spark 访问OSS

简介 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。 本文主要介绍通过Spark操作OSS数据的常见方式
云hbase+spark 6年前 887

Maxcompute Spark 访问 阿里云 Hbase

引子 本来这个东西是没啥好写的，但是在帮客户解决问题的时候，发现链路太长，不能怪客户弄不出来，记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新，本文不是文档) Spark 配置 spark.hadoop.
峰七（林学维） 5年前 497

Spark On MaxCompute访问Phonix

背景 如何使用Spark On MaxCompute连接Phonix，将Hbase的数据写入到MaxCompute的对应表中，这个目前没有对应的案例，为了满足用户的需求。本文通过使用Spark连接Phonix访问Hbase的数据写入MaxCompute该方案
耿江涛 5年前 3

实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

本文转载自公众号： eBay技术荟 作者 | 金澜涛 原文链接：https://mp.weixin.qq.com/s/L64xhtKztwWhlBQrreiDfQ 摘要 大数据处理技术朝传统数据库领域靠拢已经成为行业趋势，目前开源的大数据处理引擎，如Apac
阿里云E-MapReduce团队 6年前 668

MaxCompute Spark开发指南

MaxCompute Spark开发指南 0. 概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。 MaxCompute Spark是MaxCompute提供的兼容开源的Spark
QQ_Now 7年前 4029

X-Pack Spark归档POLARDB数据做分析

简介 POLARDB数据库是阿里云自研的下一代关系型云数据库，100%兼容MySQL，性能最高是MySQL的6倍，但是随着数据量不断增大，面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎，旨在打造数据库闭环，借助X-Pack
巴客 7年前 8903

MaxCompute Spark与Spark SQL对比分析及使用注意事项

演讲嘉宾简介：沐行，阿里云智能技术支持工程师。 本次直播视频精彩回顾，戳这里！ 以下内容根据演讲视频以及PPT整理而成。 本次分享主要围绕以下三个方面： 一、功能特性 二、代码开发 三、DataWorks模式 一、功能特性 1.Spark部署模式 Spark
亢海鹏 6年前 1466

Spark in action on Kubernetes - Spark Operator的原理解析

作者 | 阿里云智能事业群技术专家 莫源 Spark Operator的内部实现 在深入解析Spark Operator之前，我们先补充一些关于kubernetes operator的知识。2018年可以说是kubernetes operator泛滥的一年,
jessie筱姜 7年前 1611

访问spark表 相关的问答

在Zeppelin中，使用spark sql访问不到hive的表是怎么回事

如题。在Zeppelin中，使用spark sql访问不到hive的表是怎么回事
梅熙 9年前 2007

当数据存储在对象存储中时，从Spark SQL访问Hive表

我使用spark数据帧编写器在IBM Cloud Object Storage中以parquet 格式在内部hive表中编写数据。所以，我的hive Metastore在HDP集群中，我从HDP集群运行spark作业。此spark作业将数据以parquet 格
社区小助手 7年前 456

在Apache spark中跨执行程序共享数据

我的SPARK项目（用Java编写）需要跨执行程序访问（SELECT查询结果）不同的表。 这个问题的一个解决方案是： 我创建了一个tempView 选择所需的列 使用forEach转换DataFrame为Map。 将该映射作为跨执行器的广播变
社区小助手 7年前 348

更改Spark中的Metastore URI

在我的工作中，有不同的环境（开发，预生产和生产），在每个环境中，我们在其Hive Metastore中都有某些表。我的用户有权通过直接访问和查询所有这些Metastore，但我想使用sqlContext（或HiveContext）在spark-shell会话中
社区小助手 7年前 413

在初始化spark上下文后，在运行时更改pyspark的hadoop配置中的aws凭据

我已经在Stack Overflow上查看了相关问题的解决方案，但似乎这个问题相当独特。对于上下文，由于公司程序的原因，我需要每小时刷新一次AWS安全凭证，而我正在努力将新刷新的安全凭证添加到spark中。在第一个小时内一切正常（我可以从s3访问和读取表等），
社区小助手 7年前 447

维护历史表，其中包含有关userID-SQL的新数据的更新

考虑到我有一个包含历史数据（2年）的表，这是在spark中运行以下查询后创建的： temp_result = spark.sql("SELECT gaid,MIN(CASE WHEN upper(event) in ('APP ACCESS', 'A
社区小助手 7年前 208

【精品问答合集】Hbase热门问答

hbase 大量写入很慢 https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了 https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问 htt
hbase小能手 6年前 561

相关主题

搭建Spark 学习Spark spark是什么意思 spark云主机 spark 交互式查询 spark读取hive数据 拆分表 术语表 表存储 备案表 外部表 哈希表 spark sql交互式查询 hbase 表 热点表分析 多表查询 全表扫描 权限表设计 市场需求表 分库物理表 分库物理表 添加表资源 hbase表结构 mysql 表恢复 性能测试表 邻接表存储结构 广义表存储结构 投资收益预测表 数据分析表 drds 广播表 hbase 松散表 hbase松散表 redis哈希表 MongoDB路由表 MongoDB 路由表 app表结构 rds表压缩 udf资源表 rds表压缩 udf资源表 到zeppelin表 是hive表 回zeppelin 回zeppelin表 访问hive表 是hive事 访问spark事 到hive 是spark事 到zeppelin