1、修改服务器的主机名

    a、可以通过hostname进行临时性的修改,但为便于管理,需直接进行永久性的修改

    b、永久性的修改,可以直接修改/etc/sysconfig/network中的hostname名称  

    c、修改/etc/hosts域名映射,采用外网ip进行映射


                 Hadoop环境的搭建

 

2、srt上传文件

    通过点击打开SFTP连接窗口,相关命令如下:    

    服务器命令不变,本地命令为在服务器命令之前加一个l,代表本地

    如:cd/lcd,ls/lls

    上传文件是put,上传某个目录下的所有文件可以采用put ./*

    下载文件是get,下载某个目录下的所有文件可以采用get ./*

 

3、jdk的安装(先把安装包上传到指定的目录下)    

     3.1、解压释放文件,如tar -zvxf jdk-7u79-linux-x64.tar.gz

Hadoop环境的搭建

     Hadoop环境的搭建

     3.2、在/etc/profile文件中配置JAVA_HOME路径,如:

         JAVA_HOME=/opt/soft/jdk1.7.0_79

         PATH=$PATH:$JAVA_HOME/bin

         export JAVA_HOME PATH

                  Hadoop环境的搭建

      3.3、保存/etc/profile文件,通过source /etc/profile进行更新操作

      3.4、通过java -version查询是否安装成功

4.ssh面密码登陆

    4.1 现在客户端机器上通过命令ssh-****** -t rsa生成一对公钥和私钥    

    4.2 将客户端上面的私钥通过scp命令传输到服务器上,例如:

          scp id_rsa.pub [email protected]:/root    

    4.3 cat id_rsa.pub >>/root/.ssh/authorized_keys

     Hadoop环境的搭建

5、关闭服务器的防火墙

    5.1 通过service iptables stop命令进行关闭,然后可以

         通过service iptables status命令进行查看

    5.2 关闭防火墙自动开启的功能,命令如下

         chkconfig iptables off

         可以通过chkconfig --list |grep iptables进行查看

                        Hadoop环境的搭建

6、hadoop集群的安装    

    6.1 先打通服务器上面的免密码登陆,并安装jdk1.7

    6.2 下载hadoop安装包,并上传到服务器对应的管理目录下

    6.3 然后将安装包进行解压,如tar -zxvf hadoop.tar.gz

Hadoop环境的搭建

    6.4 修改相关配置文件

Hadoop环境的搭建

        6.4.1 修改hadoop-env.sh配置文件,添加JAVA_HOME

        6.4.2 修改yarn-env.sh配置文件,添加JAVA_HOME

                         Hadoop环境的搭建

 

                         Hadoop环境的搭建

                       Hadoop环境的搭建

        6.4.3 修改slaves配置文件,添加相关从节点的主机名

                                        Hadoop环境的搭建

        6.4.4 修改core-site.xml配置文件,添加如下内容 

        <property>
              <name>fs.default.name</name>
              <value>hdfs://gyb:9000</value>  <!--主节点名称-->
              <description>change your own hostname</description>
        </property>
        <property>
              <name>hadoop.tmp.dir</name>     <!--临时数据目录-->
              <value>/opt/workspace/hadoop/tmp</value>
        </property> 
        <property>
             <name>fs.checkpoint.dir</name>
             <value>/opt/workspace/hadoop/hdfs/namesecondary</value>
        </property> 
        <property>
             <name>fs.trash.interval</name>
             <value>10800</value>
        </property>

                    Hadoop环境的搭建

        6.4.5 修改hdfs-site.xml配置文件,添加如下内容

            <property>
                   <name>dfs.replication</name>   <!--副本数-->
                   <value>1</value>
            </property>
            <property>
                   <name>dfs.permissions</name>  <!--权限开关-->
                   <value>false</value>
            </property>
            <property>
                   <name>dfs.name.dir</name>
                   <value>/opt/workspace/hadoop/hdfs/name</value>
            </property>
            <property>
                   <name>dfs.data.dir</name>  
                   <value>/opt/workspace/hadoop/hdfs/data</value>
            </property>

                        Hadoop环境的搭建

        6.4.6 修改 mapred-site.xml配置文件
            <property>
                    <name>mapreduce.framework.name</name>  <!--指定采用yarn平台分布式-->
                    <value>yarn</value>
           </property>
           <property>
                  <name>mapred.local.dir</name>
                  <value>/opt/workspace/hadoop/mapred/local</value>
           </property>
           <property>
                   <name>mapred.system.dir</name>
                   <value>/opt/workspace/hadoop/mapred/system</value>
           </property>
           <property>
                  <name>mapred.temp.dir</name>
                  <value>/opt/workspace/hadoop/mapred/temp</value>
           </property>
           <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>gyb:10020</value>
          </property>
          <property>
                 <name>mapreduce.jobhistory.webapp.address</name>
                 <value>gyb:19888</value>
         </property>

                      Hadoop环境的搭建

        6.4.7 修改yarn-site.xml配置文件
            <property>
                   <name>yarn.resourcemanager.hostname</name><!--指定yarn平台主节点-->
                   <value>gyb</value>
           </property>
           <property>    
                  <name>yarn.nodemanager.aux-services</name>    
                  <value>mapreduce_shuffle</value>    
           </property> 
           <property>    
                   <name>yarn.log-aggregation-enable</name>    
                   <value>true</value>    
           </property> 
           <property>    
                  <name>yarn.log-aggregation.retain-seconds</name>    
                  <value>8640000</value>    
          </property>
          <property>    
                  <name>yarn.nodemanager.remote-app-log-dir</name>    
                  <value>/tmp/logs</value>    
          </property>

               Hadoop环境的搭建

        6.4.8  将相关的配置文件复制到其它的子节点上,如下:

            scp * [email protected]:/opt/soft/hadoop-2.6.0-cdh5.5.0/etc/hadoop/

        6.4.9 格式化namenode,命令如下

            hdfs namenode -format

            为了执行命令方便可以将HADOOP_HOME配置到/etc/profile的path路径下

        6.4.10 启动集群,可以通过如下命令方式

            start-all.sh       /stop-all.sh

Hadoop环境的搭建

相关文章: