hadoop动态增加和删除节点方法介绍_新加节点nn4但是nn1的50070上并未显示新节点 - CSDN文库

动态增加节点

动态删除节点

195 浏览量更新于2023-03-03 收藏 46KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

hadoop动态增加和删除节点方法介绍动态增加和删除节点方法介绍

主要介绍了hadoop动态增加和删除节点方法介绍，小编觉得挺不错的，这里分享给大家，需要的朋友可以参

考。

上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容，这里我们看看如何在Hadoop中动态地增加

和删除节点（DataNode）。

假设集群操作系统均为：假设集群操作系统均为：CentOS 6.7 x64

Hadoop版本为：版本为：2.6.3

一、动态增加一、动态增加DataNode

1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa

2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode

3、在新DataNode上启动hadoop

..sbin/hadoop-daemon.sh start datanode

..sbin/yarn-daemon.sh start datanode

4、在NameNode上刷新节点

..bin/hdfs dfsadmin -refreshNodes

..sbin/start-balancer.sh

5、为方便下次启动，可以将新DataNode的域名和ip加入/etc/hosts中

二、动态删除二、动态删除DataNode

1、配置NameNode的hdfs-site.xml，适当减小dfs.replication副本数，增加dfs.hosts.exclude配置

<property>

<name>dfs.hosts.exclude</name>

<value>/usr/local/hadoop2/etc/hadoop/excludes</value>

</property>

2、在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名

3、在NameNode上刷新所有DataNode

..bin/hdfs dfsadmin -refreshNodes

..sbin/start-balancer.sh

4、此时，可以在web检测界面（ip:50070）上可以观测到DataNode逐渐变为Dead。

总结总结

以上就是本文关于hadoop动态增加和删除节点方法介绍的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本

站：浅谈七种常见的Hadoop和Spark项目案例、hadoop重新格式化HDFS步骤解析等，有什么问题可以直接留言，小编会及

时回复大家的。感谢朋友们对本站的支持！

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

weixin_38621312

粉丝: 4
资源: 935

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈