spark 数据库

阿里云 > 云栖社区> 主题地图> S> spark 数据库

spark 数据库 相关的博客

【Spark Summit EU 2016】Spark与Couchbase——使用Spark扩展数据库操作

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自M
小猫吃鱼569 8年前 1925

Spark jdbc postgresql数据库连接和写入操作源码解读

概述：Spark postgresql jdbc 数据库连接和写入操作源码解读，详细记录了SparkSQL对数据库的操作，通过java程序，在本地开发和运行。整体为，Spark建立数据库连接，读取数据，将DataFrame数据写入另一个数据库表中。附带完整项
王小雷 8年前 3074

数据库云HBase 版本spark服务支持D1机型

信息摘要： 数据库云HBase 版本spark服务支持D1机型，适合起步超过20T数据库的大客户，每GB存储单价最低。适用客户： 大企业版本/规格功能： spark支持D1机型产品文档： 数据库云HBase 版本spark服务支持D1机型，具体spark服务
所在jason 6年前 566

【云栖号案例 | 游戏&娱乐】点触科技上云 构建实时计算和数据仓库

云栖号案例库：【点击查看更多上云案例】 不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！ 公司介绍 厦门点触科技股份有限公司，新三板挂牌企业（股票代码：870702），成立于2013年，是一家以历史养成类游戏研发与发行为主
云栖号案例库 5年前 1448

使用spark-redis组件访问云数据库Redis

本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。 创建服务 我们以EMR-3.21.0版本和Redis 4.0为例。EMR集群
云无谓 6年前 1132

云HBase Spark分析引擎对接云数据库POLARDB

HBase Spark分析引擎是云数据库HBase版提供的分析引擎，基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源，例如：云HBase数据库、MongoDB、Phoenix等，同时也支持对接云数据库POL
云覆bill 6年前 1677

【Spark Summit East 2017】使用Spark横向扩展关系型数据库

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自C
小猫吃鱼569 8年前 1680

使用spark-redis组件访问云数据库Redis

作者：无谓 阿里巴巴高级技术专家，2008年加入阿里巴巴集团，先后在B2B和阿里云工作，一直从事大数据和分布式计算相关研究，作为主要开发和运维人员经历了阿里内部大数据集群的上线和发展壮大，现在阿里云EMR团队，负责Spark、Hadoop等计算引擎研发。 本
阿里云E-MapReduce团队 6年前 3609

spark 数据库 相关的问答

Zeppelin 使用Spark sql 执行show databases 只显示default 数据库, 查询不到hive数据库

版本HDP3.0 Spark2.0 ,感觉Spark 数据存储和Hive数据存储不是同一个地方, 也尝试过讲hive/conf/hive-site.xml复制到spark2/conf/ 以及 zeepelin/conf/ 并重启服务,还是查询不到hive下
justin931011 7年前 1157

如何为Spark SQL设置元数据数据库？

Hive可以拥有其元数据并在那里存储表，列，分区信息。如果我不想使用hive.Can我们创建一个与hive相同的spark元数据。我想查询spark SQL（不使用数据帧），如Hive（select，from和where）我们可以这样做吗？如果是，我们可以将哪
社区小助手 7年前 426

使用Apache Spark时如何处理数据库的背压？

我们使用Apache Spark每2个小时执行一次ETL。 有时，Spark在执行读/写操作时会对数据库施加很大压力。 对于Spark Streaming，我可以backpressure在kafka上看到配置。 有没有办法在批处理中处理这个问
社区小助手 7年前 377

新兴大数据生态环境能否完全替代原数据仓库生态

现在到处在喊大数据，Hadoop，Spark等等，那么基于这些大数据组件构建的数据存储，能否完全替代原来IBM DB2，Oracle 数据仓库、Teradata等优势厂家许多年形成的数据仓库生态呢？
阿福Chris 8年前 832

流处理框架与数据库

为什么不可能使用游标，PL SQL，触发器等使用数据库sql进行实时流处理。为什么我们需要一个单独的流处理框架，如Spark。
flink小助手 7年前 279

如何在spark-jdbc应用程序中提供表名来读取RDBMS数据库中的数据？

我正在尝试使用spark读取greenplum数据库中的表格，如下所示： val execQuery = s"select ${allColumns}, 0 as ${flagCol} from schema.table where period_yea
社区小助手 7年前 387

请问：spark 处理 hive 仓库数据，用sparksql 好？还是hivesql好？sparksql 操作hive 的分区分桶表麻烦吗？

请问：spark 处理 hive 仓库数据，用sparksql 好？还是hivesql好？sparksql 操作hive 的分区分桶表麻烦吗？
hbase小能手 6年前 245

云数据库十大经典案例总结和反思【精品问答集锦】

本期请来了阿里云资深DBA专家罗龙九（玄惭）直播分享了云数据库十大经典案例总结和反思 直播简介 《云数据库十大经典案例》以MySQL数据库为例，收集整理了自RDS成立至今，用户在使用RDS过程中最常见的问题，包括：索引，sql优化，锁，延迟，参数优化，
管理贝贝 9年前 64487

相关主题

spark读取hive数据 搭建Spark 学习Spark spark是什么意思 spark云主机 spark 交互式查询 spark sql交互式查询 数据 数据库 数据库 数据库数据库系统数据库管理系统 数据库数据清理 数据分片 数据库 数据库管理数据 关系数据库 数据库创建 创建数据库 数据库瓶颈 数据库连接 数据库当机 数据库培训 数据库 培训 培训数据库 新型数据库 数据库建立 云 数据库 数据库地址 数据库分析 网站数据库 数据库系统 国产数据库 安全数据库 海量数据库 大数据库 数据库加密 网络数据库 企业数据库 动态数据库 内存数据库 记录数据库 数据库工具 登录阿里云数据库 plsql数据库备份 sqlnet.ora 配置 mysql服务正在启动 mysql服务无法启动 access新建数据库 pubmed数据库官网 oracle 闪回查询 rds 阿里 mysql mmm java多版本运行环境（tomcat jdk mysql）