Hadoop完全分布式集群安装zookeeper集群

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 应用场景 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。

应用场景

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。zookeeper有配置维护、域名服务、分布式同步、组服务等这些功能,它可以通过投票选举机制选举出leader,并且在hbase中,zookeeper尤为重要,zookeeper存储了hbase的元数据,所以想要搭建hbase集群之前,必须要搭建zookeeper。

操作步骤

1. zookeeper3.4.10下载

zookeeper下载地址,并上传到主服务器的/opt目录下
虽然zookeeper在我们hadoop集群的三个节点都需要安装,但我们可以先在主服务器上做好配置,然后分发到从服务器

2. zookeeper解压并修改目录名

 # cd /opt
 # tar -xzvf zookeeper-3.4.10.tar.gz
 # mv zookeeper-3.4.10 zookeeper3.4.10

3. 创建data和dataLog目录

 # mkdir /opt/zookeeper3.4.10/data                      # 创建data目录
 # mkdir /opt/zookeeper3.4.10/dataLog                # 创建dataLog目录

4. 创建myid文件

 # cd /opt/zookeeper3.4.10/data
 # vim myid                  # 输入数字1,然后保存,第二个节点输入2,第三个节点输入3
 # chmod 777 -R /opt/zookeeper3.4.10    # 对zookeeper的目录进行授权

5. 修改配置文件zoo.cfg

 # cd /opt/zookeeper3.4.10/conf
 # cp zoo_sample.cfg zoo.cfg
 # vim zoo.cfg             #在文件末尾添加如下内容

dataDir=/opt/zookeeper3.4.10/data  
dataLogDir=/opt/zookeeper3.4.10/dataLog  
server.1=hadoop0:2888:3888  
server.2=hadoop1:2888:3888  
server.3=hadoop2:2888:3888  

 # 注hadoop0,hadoop1,hadoop2为三个节点的主机名!

6. 把在主节点上修改的zookeeper分发到hadoop1和hadoop2

 # cd /opt/
 # scp -r zookeeper3.4.10  root@hadoop1:/opt/
 # scp -r zookeeper3.4.10  root@hadoop2:/opt/

分发后别忘了修改data目录下的myid文件中的内容,也给从节点的zookeeper目录赋权

7. 启动和测试集群

分别在三台服务器上运行如下命令
 # zkServer.sh start

8. 验证效果

分别在三台服务器上运行如下命令
 # zkServer.sh status

这里写图片描述

这里写图片描述

这里写图片描述

查看zookeeper集群中的zookeeper节点的状态,会发现其中一个是leader,其余是follower。这就是zookeeper的投票选举机制,所以一般zookeeper为单数个节点的集群,这样投票容易一些;当然如果双数节点也可以,只是投票难度大了一些,比如6个节点的zookeeper,那么必须一个节点票数为4票及以上,才行,而不像单数个节点!

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
3天前
|
存储 大数据 Apache
深入理解ZooKeeper:分布式协调服务的核心与实践
【5月更文挑战第7天】ZooKeeper是Apache的分布式协调服务,确保大规模分布式系统中的数据一致性与高可用性。其特点包括强一致性、高可用性、可靠性、顺序性和实时性。使用ZooKeeper涉及安装配置、启动服务、客户端连接及执行操作。实际应用中,面临性能瓶颈、不可伸缩性和单点故障等问题,可通过水平扩展、集成其他服务和多集群备份来解决。理解ZooKeeper原理和实践,有助于构建高效分布式系统。
|
15天前
|
分布式计算 Hadoop Linux
找到Hadoop的安装目录
【4月更文挑战第19天】具体的安装目录可能因您的安装方式和环境而有所不同。如果您在安装Hadoop时遵循了特定的教程或文档,建议参考该教程或文档中的安装目录信息。
12 3
|
15天前
|
分布式计算 Hadoop 大数据
[大数据] mac 史上最简单 hadoop 安装过程
[大数据] mac 史上最简单 hadoop 安装过程
|
16天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
16天前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
20天前
|
Linux
ZooKeeper的安装(Linux版)
ZooKeeper的安装(Linux版)
25 1
|
20天前
|
资源调度
Hadoop3的安装
Hadoop3的安装
21 0
|
21天前
|
存储 Java 网络安全
ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版(一台服务器实现三个节点的ZooKeeper集群)
【4月更文挑战第10天】ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版(一台服务器实现三个节点的ZooKeeper集群)
34 1
|
21天前
|
存储 分布式计算 Hadoop
Hadoop集群搭建
Hadoop集群搭建
|
21天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加