其实就是编辑一个文本,文本内容就是写出要移除机器的ip地址。
然后在mapred-site.xml 设置dfs.hosts.exclude参数,其值为刚提到ip地址文件的路径。
然后执行hadoop dfsadmin -refreshNodes
ok,
这个时候,机器就会把那些有待移除的节点上的数据,开始搬移。其实这个时间比我想象的要快,具体多久,也没注意,出去吃顿饭,两个多小时移除了大概100G吧。
移除好后,在web界面上看,那些节点会变成dead nodes。
移除好之后,修改slaves文件,移除那些ip,然后在修改那个ip地址文件将里面的内容删去。
然后可以手动执行hadoop-deamon.sh停掉taskTracker和dataNode,当然,也可以重启集群。
以下为参考内容:
http://blog.csdn.net/fiberlijun/article/details/4832936
http://hi.baidu.com/surendaxiao/blog/item/6d2234c29334ee5fb319a843.html
http://hadoop.apache.org/common/docs/r0.20.0/cluster_setup.html
17. HDFS. 我想通过同时移除一批节点的方式把一个大机群缩小,这项任务如何完成?
从一个大机群中移除一两个数据节点不会导致任何数据丢失,因为名字节点在检测到数据节点失效时,会从别处复制它们所保存的数据块。如果有大量节点移除或崩溃,数据丢失的概率就增大了。
Hadoop 提供清退(decommission)机制以便从机群中安全地移除一批已存在的数据节点。方法是把需要移除的节点写在排除名单文件中,并把排除名单的文件名作为 dfs.hosts.exclude 的参数值。排除名单文件需要在名字节点启动时就准备好,它的长度也可以为零。在这个文件中,需要写完整的主机名、IP 或 IP:port 这样的格式。
分享到:
相关推荐
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
Hadoop datanode启动失败:Hadoop安装目录权限的问题
hadoop 源码解析-DataNode
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,...
本文主要分析了hadoop客户端read和write block的流程. 以及client和datanode通信的协议, 数据流格式等
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
weekend05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain weekend06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain ...
Hadoop datanode重新加载失败无法启动解决.docx
NULL 博文链接:https://zqhxuyuan.iteye.com/blog/1879292
批量安装hadoop示例批量安装hadoop示例批量安装hadoop示例
用于 Apache Hadoop HDFS 的 DataNode 卷重新平衡工具该项目旨在填补和系列的空白:当一个硬盘驱动器在 Datanode 上死机并被替换时,没有真正的方法将块从最常用的硬盘移动到新添加的硬盘上——因此是空的。...
在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在...
对各个节点指定好功能 maseter为主节点,hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02,hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
go语言编写的万能采集DataNode jmx指标二进制文件 所有CDH 版本 有DataNode实例机器均可执行。 没有不会报错,会一分钟重试。 采集了以下三类指标 ...Hadoop:service=DataNode,name=RpcActivityForPort