使用spark-redis组件访问云数据库Redis

阿里云E-MapReduce团队 2019-08-16

数据存储与数据库 移动开发与客户端 网络与数据通信 大数据 redis Apache shell 集群 spark scala DataFrame 云数据库 string EMR 安全问道

作者:无谓 阿里巴巴高级技术专家,2008年加入阿里巴巴集团,先后在B2B和阿里云工作,一直从事大数据和分布式计算相关研究,作为主要开发和运维人员经历了阿里内部大数据集群的上线和发展壮大,现在阿里云EMR团队,负责Spark、Hadoop等计算引擎研发。


本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成,Redis使用阿里云数据库Redis。

创建服务

我们以EMR-3.21.0版本和Redis 4.0为例。EMR集群安装的Spark版本是2.4.3,我们需要使用对应的Spark-Redis 2.4版本,该组件可以支持Redis 2.9.0以上版本。

EMR和Redis需要在同一个VPC网络中创建,同时,在云数据库Redis实例启动之后,需要在“白

登录 后评论
下一篇
corcosa
10376人浏览
2019-10-08
相关推荐
Windwork 缓存组件
2114人浏览
2017-04-13 06:56:46
k8s基本概念及入门案例
1093人浏览
2018-12-13 20:47:00
阿里云Redis集群版简要介绍
6006人浏览
2017-10-23 18:22:24
4.1.1 Proxy组件
632人浏览
2018-02-27 14:47:00
k8s基本概念及使用
787人浏览
2018-12-14 21:16:00
0
0
0
2851