【首页推荐】详解 Hadoop HA 完全分布式部署配置及运行调试

『数人之道』原创文章,转载请关注本公众号联系我们

文章大纲:

图5-4-1:查看 rm1 的状态

或者在 hadoop101 或 hadoop102 上执行以下命令查看 rm1 的状态:

yarn rmadmin -getServiceState rm1

可以看到 rm1 能正常访问,状态是 active.

(2) 在浏览器中输入地址:http://hadoop102:8088/, 通过 Web 页面查看 hadoop102 节点的 RM 状态:

或者在 hadoop101 或 hadoop102 上执行以下命令查看 rm2 的状态:

yarn rmadmin -getServiceState rm2

可以看到,访问 rm2 的页面会自动跳转到 rm1 上,状态是 standy.

图5-4-2:查看 rm2 的状态

5.4.2. 运行作业

在 hadoop100 机器上使用上传至 HDFS 的输入数据文件运行 Hadoop 自带的 WordCount MR 程序作业:

yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /input/wc.input /output

5.4.3. 测试故障自动切换功能

(1) 在作业运行过程中,将 rm1 节点上的 ResourceManager 进程杀掉:

在 hadoop101 机器上执行以下命令查看 ResourceManager 的进程 pid:

ps -ef | grep ResourceManager

执行 kill 命令强制杀掉 RM 进程:

kill -9 29883

(2) 观察 rm2 上的 ResourceManager 是否可以自动接替:

可在 hadoop101 或 hadoop102 节点上执行以下命令查看 rm2 的状态:

yarn rmadmin -getServiceState rm2
图5-4-3:查看 rm2 的状态

也可以直接在 rm2 的 Web 页面中查看:

图5-4-4:杀掉进程后查看 rm2 的状态

可以看到 rm2 已经自动切换为 Active 状态,接管作业的调度,表明故障自动切换成功

5.4.4. 测试重启保留恢复状态功能

观察作业是否能顺利执行完成且没有中断:

图5-4-5:查看作业是否执行完成

查看作业的输出结果文件:

图5-4-6:查看作业输出结果

可以看到,作业成功运行完成,结果正常,表明重启后保留恢复状态的功能成功,没有因为 rm1 的意外故障而影响当前作业的运行。

经以上测试验证,我们搭建的 YARN HA 集群已经成功实现了重启能保留作业恢复状态信息和故障自动切换功能,达到 HA 的目标。

本站文章资源均来源自网络,除非特别声明,否则均不代表站方观点,并仅供查阅,不作为任何参考依据!
如有侵权请及时跟我们联系,本站将及时删除!
如遇版权问题,请查看 本站版权声明
THE END
分享
二维码
海报
【首页推荐】详解 Hadoop HA 完全分布式部署配置及运行调试
本期主要介绍 Hadoop HA 完全分布式模式的部署。HA 完全分布式模式(Highly Available Fully-Distributed Mode)是...
<<上一篇
下一篇>>