spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之环境准备(图文详解)

简介:

关于下载,这两个spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包不多赘述。

http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz

http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz

 

 

  我是解压在D:\SoftWare方便为了导入其中的所需jar包

 

 

 

 

这里,我是在Scala IDEA for Eclipse里,手动来构建spark-1.6.1-bin-hadoop2.6和spark-2.2.0-bin-hadoop2.6发行包的scala代码环境

 

 

 

 

 

 

 

 

 

这里,我是在Scala IDEA for Eclipse里,手动来构建spark-1.6.1-bin-hadoop2.6发行包的java代码环境

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  D:\SoftWare\spark-1.6.1-bin-hadoop2.6\lib下的所有

 

 

 

 

 

 

 

 

 

  

  zhouls.bigdata.Basic、zhouls.bigdata.sql、zhouls.bigdata.streaming、zhouls.bigdata.ml、zhouls.bigdata.mllib

 

 

 

  然后,再分别复制进去,不多说。

 

 

 

 

 

 

 

 

 

 

 

这里,我是在Scala IDEA for Eclipse里,手动来构建java代码环境

 D:\SoftWare\spark-2.2.0-bin-hadoop2.6\jars

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

zhouls.bigdata.Basic、zhouls.bigdata.sql、zhouls.bigdata.streaming、zhouls.bigdata.ml、zhouls.bigdata.mllib

 

 

 

 

   成功!


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7454674.html,如需转载请自行联系原作者

相关文章
|
3天前
|
JavaScript Java 应用服务中间件
centos部署vue项目(java,tomcat环境的搭建)
centos部署vue项目(java,tomcat环境的搭建)
56 0
|
3天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
3天前
|
Java
Java配置环境
Java配置环境
22 0
Java配置环境
|
3天前
|
Java
JDK环境下利用记事本对java文件进行运行编译
JDK环境下利用记事本对java文件进行运行编译
16 0
|
3天前
|
分布式计算 资源调度 Hadoop
java与大数据:Hadoop与MapReduce
java与大数据:Hadoop与MapReduce
27 0
|
3天前
|
新零售 分布式计算 数据可视化
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
|
3天前
|
Java Linux 开发工具
Linux 配置 Java/JDK 环境
Linux 配置 Java/JDK 环境
26 0
|
3天前
|
存储 NoSQL Java
探索Java分布式锁:在高并发环境下的同步访问实现与优化
【4月更文挑战第17天】Java分布式锁是解决高并发下数据一致性问题的关键技术,通过Redis、ZooKeeper、数据库等方式实现。它确保多节点共享资源时的同步访问,防止数据不一致。优化策略包括锁超时重试、续期、公平性和性能优化。合理设计分布式锁对支撑大规模分布式系统至关重要。
|
3天前
|
Java 应用服务中间件 Maven
使用IDEA搭建SpringMVC环境,Maven导入了依赖,但是运行报错 java.lang.ClassNotFoundException
使用IDEA搭建SpringMVC环境,Maven导入了依赖,但是运行报错 java.lang.ClassNotFoundException
21 1