访问spark表
首页
博客
论坛
聚能聊
问答
直播
活动
主题
登录账号
注册账号
阿里云
>
云栖社区
>
主题地图
>
F
>
访问spark表
全部
博客
问答
免费套餐
上云实践机会
校园扶持
助力学生成长
API服务
覆盖海量行业
访问spark表 相关的博客
X-Pack Spark 访问OSS
简介 对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。 本文主要介绍通过Spark操作OSS数据的常见方式
云hbase+spark
6年前
887
Maxcompute Spark 访问 阿里云 Hbase
引子 本来这个东西是没啥好写的,但是在帮客户解决问题的时候,发现链路太长,不能怪客户弄不出来,记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新,本文不是文档) Spark 配置 spark.hadoop.
峰七(林学维)
5年前
497
Spark On MaxCompute访问Phonix
背景 如何使用Spark On MaxCompute连接Phonix,将Hbase的数据写入到MaxCompute的对应表中,这个目前没有对应的案例,为了满足用户的需求。本文通过使用Spark连接Phonix访问Hbase的数据写入MaxCompute该方案
耿江涛
5年前
3
实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作
本文转载自公众号: eBay技术荟 作者 | 金澜涛 原文链接:https://mp.weixin.qq.com/s/L64xhtKztwWhlBQrreiDfQ 摘要 大数据处理技术朝传统数据库领域靠拢已经成为行业趋势,目前开源的大数据处理引擎,如Apac
阿里云E-MapReduce团队
6年前
668
MaxCompute Spark开发指南
MaxCompute Spark开发指南 0. 概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。 MaxCompute Spark是MaxCompute提供的兼容开源的Spark
QQ_Now
7年前
4029
X-Pack Spark归档POLARDB数据做分析
简介 POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎,旨在打造数据库闭环,借助X-Pack
巴客
7年前
8903
MaxCompute Spark与Spark SQL对比分析及使用注意事项
演讲嘉宾简介:沐行,阿里云智能技术支持工程师。 本次直播视频精彩回顾,戳这里! 以下内容根据演讲视频以及PPT整理而成。 本次分享主要围绕以下三个方面: 一、功能特性 二、代码开发 三、DataWorks模式 一、功能特性 1.Spark部署模式 Spark
亢海鹏
6年前
1466
Spark in action on Kubernetes - Spark Operator的原理解析
作者 | 阿里云智能事业群技术专家 莫源 Spark Operator的内部实现 在深入解析Spark Operator之前,我们先补充一些关于kubernetes operator的知识。2018年可以说是kubernetes operator泛滥的一年,
jessie筱姜
7年前
1611
访问spark表 相关的问答
在Zeppelin中,使用spark sql访问不到hive的表是怎么回事
如题。在Zeppelin中,使用spark sql访问不到hive的表是怎么回事
梅熙
9年前
2007
当数据存储在对象存储中时,从Spark SQL访问Hive表
我使用spark数据帧编写器在IBM Cloud Object Storage中以parquet 格式在内部hive表中编写数据。所以,我的hive Metastore在HDP集群中,我从HDP集群运行spark作业。此spark作业将数据以parquet 格
社区小助手
7年前
456
在Apache spark中跨执行程序共享数据
我的SPARK项目(用Java编写)需要跨执行程序访问(SELECT查询结果)不同的表。 这个问题的一个解决方案是: 我创建了一个tempView 选择所需的列 使用forEach转换DataFrame为Map。 将该映射作为跨执行器的广播变
社区小助手
7年前
348
更改Spark中的Metastore URI
在我的工作中,有不同的环境(开发,预生产和生产),在每个环境中,我们在其Hive Metastore中都有某些表。我的用户有权通过直接访问和查询所有这些Metastore,但我想使用sqlContext(或HiveContext)在spark-shell会话中
社区小助手
7年前
413
在初始化spark上下文后,在运行时更改pyspark的hadoop配置中的aws凭据
我已经在Stack Overflow上查看了相关问题的解决方案,但似乎这个问题相当独特。对于上下文,由于公司程序的原因,我需要每小时刷新一次AWS安全凭证,而我正在努力将新刷新的安全凭证添加到spark中。在第一个小时内一切正常(我可以从s3访问和读取表等),
社区小助手
7年前
447
维护历史表,其中包含有关userID-SQL的新数据的更新
考虑到我有一个包含历史数据(2年)的表,这是在spark中运行以下查询后创建的: temp_result = spark.sql("SELECT gaid,MIN(CASE WHEN upper(event) in ('APP ACCESS', 'A
社区小助手
7年前
208
【精品问答合集】Hbase热门问答
hbase 大量写入很慢 https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了 https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问 htt
hbase小能手
6年前
561
相关主题
搭建Spark
学习Spark
spark是什么意思
spark云主机
spark 交互式查询
spark读取hive数据
拆分表
术语表
表存储
备案表
外部表
哈希表
spark sql交互式查询
hbase 表
热点表分析
多表查询
全表扫描
权限表设计
市场需求表
分库物理表
分库物理表
添加表资源
hbase表结构
mysql 表恢复
性能测试表
邻接表存储结构
广义表存储结构
投资收益预测表
数据分析表
drds 广播表
hbase 松散表
hbase松散表
redis哈希表
MongoDB路由表
MongoDB 路由表
app表结构
rds表压缩
udf资源表
rds表压缩
udf资源表
到zeppelin表
是hive表
回zeppelin
回zeppelin表
访问hive表
是hive事
访问spark事
到hive
是spark事
到zeppelin