【笔记】Hadoop安装部署

简介:

安装虚拟机

使用VirtualBox安装rhel6.3,存储为30G,内存为1G,并使用复制克隆出两个新的虚拟机,这样就存在3台虚拟机,设置三台虚拟机的主机名称,如:rhel-june、rhel-june-1、rhel-june-2

配置网络

a. VirtualBox全局设定-网络中添加一个新的连接:vboxnet0

b. 设置每一个虚拟机的网络为Host-Only

c.分别修改每个虚拟机的ip,DHCP或手动设置

vim /etc/sysconfig/network-scripts/ifcfg-eth0
vim /etc/udev/rules.d/70-persistent-net.rules  #删掉第一个,修改第二个名字为eth0
start_udev

d.修改主机名

vim /etc/sysconfig/network

e.每个虚拟机中修改hosts:

192.168.56.100 rhel-june
192.168.56.101 rhel-june-1
192.168.56.102 rhel-june-2

最后机器列表为:

rhel-june:   192.168.56.100
rhel-june-1: 192.168.56.101
rhel-june-2: 192.168.56.102

机群规划

版本:

hadoop:1.1.1
JDK:1.6.0_38

集群各节点:

NameNode:192.168.56.100
NameSecondary:192.168.56.100
DataNode:192.168.56.101
DataNode:192.168.56.102

安装过程

a.将hadoop压缩包解压缩到/opt目录

b.修改以下配置文件:

core-site.xml
hdfs-site.sml
mapred-site.xml

c.设置master、slaves文件

master中内容为:

	192.168.56.100

slaves中内容为:

	192.168.56.101
	192.168.56.102

d.设置环境变量

方便执行java命令及hadoop命令. 使用root登录,vi ~/.bash_profile追加下列信息

export JAVA_HOME=/opt/jdk1.6.0_38
export HADOOP_INSTALL=/opt/hadoop-1.1.1
export PATH=$PATH:$HADOOP_INSTALL/bin:$JAVA_HOME/bin

e.修改hadoop脚本中JAVA_HOME/opt/hadoop-1.1.1/conf/hadoop-env.sh

f.格式化namenode

hadoop namenode -format

g.启动hdfs集群

sh /opt/hadoop-1.1.1/bin/start-all.sh

h.查看节点进程

jps

查看状态

http://rhel-june:50030/
http://rhel-june:50070/
目录
相关文章
|
5月前
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
60 0
|
8月前
|
分布式计算 固态存储 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)1
Apache Doris Broker快速体验之Hadoop安装部署(1)1
99 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
76 0
|
8月前
|
XML 分布式计算 Hadoop
Apache Doris Broker快速体验之Hadoop安装部署(1)2
Apache Doris Broker快速体验之Hadoop安装部署(1)2
147 0
|
SQL 存储 分布式计算
安装部署--hadoop、hive 配置修改&impala 配置 | 学习笔记
快速学习 安装部署--hadoop、hive 配置修改&impala 配置
457 0
安装部署--hadoop、hive 配置修改&impala 配置 | 学习笔记
|
分布式计算 Hadoop 关系型数据库
Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记
快速学习 Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包
124 0
Apache Oozie- 安装部署修改 hadoop& 解压拷贝依赖包|学习笔记
|
SQL 关系型数据库 Java
hadoop伪分布式安装部署HIVE
应用场景 当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
1699 0
|
存储 分布式计算 资源调度
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署 首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备。 一、如何为虚拟机做快照? 1、什么是快照? 快照就是对当前的虚拟机状态进行拍照,保留虚拟机当前状态的操作信息。
1908 0
|
Linux Hbase 分布式数据库
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
因为学习,在网上找了很多hbase搭建的文章,感觉这篇很好,点此 搭建好后,jps查看了后台进程,发现在slave上面没有HRegionServer进程 便查看了 slave上关于HRegionServer的日志,发现报错 如下 然后网上查了一下,说是时间不同步的问题,自己使用date命令查看了一...
871 0
|
分布式计算 Java Hadoop
centos7.1安装部署Hadoop
http://blog.csdn.net/u012852986/article/details/51488496 明明之前已经在Ubuntu上部署过Hadoop了,换到CentOS又卡了好久,还是好弱,赶紧写篇博客记录下来。
1136 0