大神如何一招完美解决Hadoop集群无法正常关闭的问题!

云栖号资讯小编 2020-02-18

大数据 hadoop 配置 集群 Image aliyun 脚本

云栖号:https://yqh.aliyun.com
第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

image

相信对于大部分的大数据初学者来说,一定遇见过Hadoop集群无法正常关闭的情况。有时候当我们更改了Hadoop内组件的配置文件后,必须要通过重启集群来使配置文件生效。

但往往一stop-all.sh,集群下方总会出现下面的提示:

image

最开始的时候,我也是看了一个头两个大,这都是啥么情况???

但问题都出来了,只有迎面解决了~

我们都知道在Hadoop中控制脚本启动和停止Hadoop后台程序的是哪个脚本。

没错,就是Hadoop-daemon.sh

先让我们利用find命令找到它的位置

find / -name Hadoop-daemon.sh

image

通过vim /export/servers/Hadoop-2.6.0-cdh5.14.0/sbin/Hadoop-daemon.sh

在文件的最后几行,我们终于找到了答案:

image

初步分析,如果pid文件不存在就会打印:no xxx to stop

那我们上述出现的情况无非就是Hadoop集群关闭的时候,Namenode或者DataNode的pid文件找不着。

通过配置文件最初的描述,我们大概知道pid文件默认是保存在tmp目录下

image

那这个pid文件是啥?根据查阅资料,方知Hadoop启动后,会把进程的PID号存储在一个文件中,这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。

现在问题原因很明确了,就是/tmp目录下的Hadoop-*.pid的文件找不到了。

我们知道/tmp是临时目录,系统会定时清理该目录中的文件。显然把pid文件放在这里是不靠谱的,pid文件长时间不被访问,早被清理了!

所以我们只需要在配置文件中更改默认的pid存放位置即可。但注意,需要先通过kill等方法把进程杀死,等集群关闭之后再更改!

image

同样的道理,你还需要修改yarn-daemon.sh配置文件。

image

好了,从此再也不用担心出现no xxx to stop的警告了!

云栖号:https://yqh.aliyun.com
第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

原文发布时间:2020-02-17
本文作者:Alice菌
本文来自:“CSDN云计算公众号”,了解相关信息可以关注“CSDN云计算

登录 后评论
下一篇
云栖号资讯小编
681人浏览
2020-03-31
相关推荐
hadoop 集群常见错误解决办法
2631人浏览
2016-02-24 14:12:00
hadoop日常运维白皮书
804人浏览
2019-09-27 10:32:58
Kubernetes是什么?
1337人浏览
2017-10-11 14:21:00
Hadoop面试45个题目及答案
4022人浏览
2016-05-05 10:31:05
HBase设计:看上去很美
1282人浏览
2013-03-02 18:55:00
Hadoop集群管理
520人浏览
2016-05-22 11:30:14
0
0
0
352