centos+hadoop+hive 安装

简介: 环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。

环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql

本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。

virtualbox下centos安装

参见网址:

http://blog.csdn.net/risingsun001/article/details/37934975

特别提醒:

virtualbox安装centos的时候需要设置内存大概为1G左右,否则centos不会显示图形化操作界面。

img_1a0d0660797a64de77b06651fe943aad.png

virtualbox啊装centos的时候网络选择桥接模式

img_b690d56bc94b74245d8f89b92b46d0b3.png

启动centos后需要设置连接网络

img_95e6bca2ccb5969f42754487172b4af2.png


centos下hadoop安装

特别提醒:

安装hadoop的需要注意jdk、hadoop的版本,因为这样子网上相同的资料会比较好找,本次安装使用的是hadoop2.6.0、 jdk1.7.0_79。

安装hadoop需要理解下hadoop之间的免密登录的概念,hosts相关的修改等,都是比较细节的内容,但是容易踩坑。

参考文章:

安装介绍:http://www.powerxing.com/install-hadoop-cluster/

安装步骤(好文强力推荐):http://www.cnblogs.com/kevinq/p/5101679.html

免密登录:http://blog.csdn.net/w12345_ww/article/details/51910030

hadoop端口:http://www.cnblogs.com/tnsay/p/5753838.html

机器配置

192.168.0.112 lebron1 作为master

192.168.0.113 lebron2 作为slave


安装jdk

查看已经安装的jdk   rpm -qa | grep jdk 

卸载已经安装的jdk   rpm remove -y xxx

下载jdk安装包   wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

安装jdk  解压jdk-7u79-linux-x64.tar.gz到/opt/jdk1.7.0_79 并配置/etc/profile后执行source /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_79

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin


配置hosts文件

192.168.0.112 lebron1

192.168.0.113 lebron2


建立hadoop账号

新增账号 useradd hadoop

修改密码 passwd hadoop

新增目录 mkdir /usr/local/hadoop

修改权限 chmod 777 –R /usr/local/hadoop


hadoop免密登录

以下为lebron1机器的操作,lebron2机器的操作相同

su hadoop 切换到hadoop账户

ssh-keygen -t rsa 生成密钥文件id_rsa和id_rsa.pub

拷贝lebron1的id_rsa.pub内容到lebron2机器的authorized_keys

su 权限下修改/etc/ssh/sshd_config

RSAAuthentication  yes

PubkeyAuthentication  yes

AuthorizedKeysFile   .ssh/authorized_keys

重启sshd service sshd restart

测试免密连接 ssh lebron1 或 ssh lebron2


安装hadoop

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解压到hadoop目录 /usr/local/hadoop/hadoop-2.6.0

修改/etc/profile新增hadoop环境变量并执行source /etc/profile使生效

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


解决启动问题:WARN util.NativeCodeLoader: Unable to loadnative-hadoop libraryforyour platform...using builtin-java classes where applicable

wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/:hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib

tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native


ps:以下操作都在cd /usr/local/hadoop/hadoop-2.6.0/etc/hadoop进行

配置可以参见链接:http://www.cnblogs.com/kevinq/p/5101679.html


修改hadoop-env.sh文件

export JAVA_HOME=/opt/jdk1.7.0_79


修改yarn-env.sh文件

export JAVA_HOME=/opt/jdk1.7.0_79


修改core-site.xml文件

img_27e1982a00df6f5c68014a3cd26f3b74.png


修改hdfs-site.xml文件

img_443f71451d70d6d7506600a1e2fa27be.png


修改mapred-site.xml文件

img_43e98152e3c8f0a642d77d8d71120891.png


修改yarn-site.xml文件

img_f93833f5b55edd7ade44c60512f86900.png


配置masters和slaves文件

vim slaves 新增slave节点

img_a9d9516de8d06bb4c8dc6727ffa1bf4e.png


向各节点复制hadoop

将配置的hadoop2.6.0复制到各个节点,建议通过scp命令


格式化namenode

hadoop namenode -format,第一次启动的时候需要执行


启动hadoop和yarn

cd /usr/local/hadoop/hadoop-2.6.0/sbin

./start-all.sh


用jps检验各后台进程是否成功启动

img_e082695091326c191fdfcb1df4de8d54.png

PS:查看日志确认下是否没有报错,如果有报错肯定是某些地方配置没有对,重新网上找资料修复即可,如果完全没有问题可以通过hadoop的shell命令操作检验一下。


hive安装

参见:http://blog.csdn.net/u014591781/article/details/52895176

目录
相关文章
|
1月前
|
Linux 网络安全 数据安全/隐私保护
如何在 VM 虚拟机中安装 CentOS Linux 9 操作系统保姆级教程(附链接)
如何在 VM 虚拟机中安装 CentOS Linux 9 操作系统保姆级教程(附链接)
170 0
|
1月前
|
存储 JavaScript Linux
Linux环境下安装nmp(Centos环境)保姆级教学 一步到位
Linux环境下安装nmp(Centos环境)保姆级教学 一步到位
|
2天前
|
Linux
centos 6.5安装yum
centos 6.5安装yum
22 0
|
3天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置PXE服务
PXE是Intel开发的预启动执行环境,允许工作站通过网络从远程服务器启动操作系统。它依赖DHCP分配IP,DNS服务分配主机名,TFTP提供引导程序,HTTP/FTP/NFS提供安装源。要部署PXE服务器,需关闭selinux和防火墙,安装dhcpd、httpd、tftp、xinetd及相关服务,配置引导文件和Centos7安装源。最后,通过syslinux安装引导文件,并创建pxelinux.cfg/default配置文件来定义启动参数。
15 0
|
3天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置postfix服务
安装CentOS7的Postfix和Dovecot,配置Postfix的`main.cf`文件,包括修改完全域名、允许所有IP、启用邮箱等。然后,配置Dovecot的多个配置文件以启用auth服务和调整相关设置。重启Postfix和Dovecot,设置开机自启,并关闭防火墙进行测试。最后,创建邮箱账户并在Windows邮箱客户端中添加账户设置。
10 0
|
3天前
|
Linux 网络安全
Centos6.5安装并配置NFS服务
该内容描述了在Linux系统中设置NFS服务的步骤。首先挂载yum源,然后安装NFS服务,并编辑配置文件。接着,重启rpcbind和NFS服务,可能需要重复此过程以解决初始可能出现的问题。此外,关闭防火墙策略,并再次重启服务。最终,根目录被共享,特定IP网段被允许访问。
9 0
|
4天前
|
存储 Linux 网络安全
centos7使用yum网络安装
这些是使用Yum进行网络安装的基本步骤。根据你的需求,你可以重复步骤3和4来安装其他软件包。请注意,执行Yum操作需要root或具有sudo权限的用户。
16 1
|
10天前
|
关系型数据库 MySQL Linux
centos7安装mysql-带网盘安装包
centos7安装mysql-带网盘安装包
60 2
|
16天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
56 1
|
16天前
|
存储 Linux Shell
centos 部署docker容器 安装 、基本使用方法(一)
centos 部署docker容器 安装 、基本使用方法(一)
32 0