静动态增删节点

  这是我现在的集群

   Hadoop---静动态增删节点

  重新克隆一个虚拟机:

    hadoop44:datanode(静态增加,删除和动态删除)

    hadoop55:datanode(动态hdfs添加,yarn动态增删)

  静态添加:

    1)修改hosts文件,让主可以认识它

      vi /etc/hosts

      Hadoop---静动态增删节点

    2)设置无密码访问hadoop44(keygen的生成--> ssh-keygen -t rsa)

      Hadoop---静动态增删节点

    3)分别给从机中发送hosts文件和给hadoop44方法送profile文件和hadoop-2.6.0,以及重启hadoop44的profile文件(source /etc/profile)

      Hadoop---静动态增删节点

    4)修改配置文件slaves文件 

      Hadoop---静动态增删节点

    5)查看效果

      192.168.11.11:50070

      Hadoop---静动态增删节点

      192.168.11.11:8088

      Hadoop---静动态增删节点

 静态删除:

   1. 静态删除节点:

     Hadoop---静动态增删节点

   2. 页面:只是停止心跳

     Hadoop---静动态增删节点

 动态增删节点: 

  动态删除hadoop3

    1)修改hdfs.site.xml
    <property>
        <name>dfs.hosts</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-hosts.conf</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-exhosts.conf</value>
    </property>

      Hadoop---静动态增删节点

      Hadoop---静动态增删节点

   2)同步资源文件并启动服务-->start.all.sh

      scp * hadoop2/3/44`pwd`

      Hadoop---静动态增删节点

      启动:

     Hadoop---静动态增删节点

 

   3)删除节点状态
     1.修改配置文件(上面刚刚建的dfs-exhosts.conf)

      Hadoop---静动态增删节点

      2.刷新 --> hdfs dfsadmin -refreshNodes

       Hadoop---静动态增删节点

      3.页面或者(hdfs.dfsadmin -report)

      Hadoop---静动态增删节点

      Hadoop---静动态增删节点  

  动态添加hadoop55节点

    1)hadooop5需要做和前面相同的配置,启动hadopp55

      Hadoop---静动态增删节点

    2) 网页(如果你hadoop1/hadoop2有大量文件,而hadoop55上线时会自动做一个平衡,将文件分一些给hadoop55)

      Hadoop---静动态增删节点

  动态增加和卸载yarn节点 :  

     1)修改配置文件(增加和卸载)  

      <property>
		<name>yarn.resourcemanager.nodes.include-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-include.conf</value>
	</property>
	<property>
		<name>yarn.resourcemanager.nodes.exclude-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-exclude.conf</value>
	</property>

     2)在相应的目录下创建文件夹:

      Hadoop---静动态增删节点

     3.1)启动hadoop55做yarn节点的增加

        Hadoop---静动态增删节点

     4)网页

        Hadoop---静动态增删节点

      3.2)删除节点,刷新yarn文件

        Hadoop---静动态增删节点 

     4)网页

       Hadoop---静动态增删节点

    注意:

     动态增删hdfs节点时不要进行-->hdfs dfsadmin refresh 刷新,如果刷新了会节点死掉,这个刷新节点只支持大数据2.47之前,我们现在使用的是2.6.0版本

  结束:  

    一个有5台机器,还有一台就是hadoop55

    Hadoop---静动态增删节点

    

 

 

    huhu_k:每一个成功都不是一朝一夕的事情

 

相关文章: