HDFS完全分布式搭建步骤及难点

四台虚拟机

虚拟机
node01	namenode
node02	seconderynamenode ,datanode
node03	datanode
node04	datanode

步骤：
1、时间同步：
①各个节点安装ntp命令yum install ntp
②上网查找最新的时间服务器ntp1.aliyun.com
③同步时间ntpdate ntp1.aliyun.com
2、配置免密登陆
node01->node01 node01->node02 node01->node03 node01->node04
①所有节点执行 ssh-****** -t rsa -P ‘’ -f ~/.ssh/id_rsa
②在node01节点执行，将node01的公钥加入到其他节点的白名单中
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
3、所有节点配置jdk
在/opt下新建software（mkdir software）,新建jdk(mkdir jdk）上传jdk压缩包，解压
tar xzvf ***
配置环境变量：
vim /etc/profile
在最后添加（注意路径）：
export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH= $PATH:$ JAVA_HOME/bin
保存后 source /etc/profile
4、修改hadoop配置文件
上传hadoop-2.6.5到 opt/software/hadoop 。解压文件
进入到hadoop-2.6.5/etc/hadoop下，修改hdfs-site.xml
vim hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>     
        <name>dfs.namenode.secondary.http-address</name>
		 <value>node02:50090</value>
</property>

修改core-site.xml配置文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>

修改slaves配置文件
修改为：node02
node03
node04
5、在每个节点配置 hadoop环境变量
vim /etc/profile
在 export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151下面加

export HADOOP_HOME=/opt/software/hadoop/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6、进入 /opt/software/hadoop/hadoop-2.6.5/etc/hadoop 修改hadoop-env.sh
HDFS完全分布式搭建步骤及难点
scp hadoop-env.sh node02 pwd
scp hadoop-env.sh node03 pwd
scp hadoop-env.sh node04 pwd
7、将配置好的安装包分发到其他节点上

scp -r hadoop-2.6.5 [email protected]:/opt/software/hadoop/

8、格式化NameNode
格式化用来创建目录及文件，在node01节点执行

hdfs namenode -format

注意在这之前要讲所有的HDFS进程关闭
9、启动HDFS

start-dfs.sh

注意事项：
在配置环境变量时要注意路径的问题，
注意将每个节点的ip加到node01的 /etc/hosts里面
HDFS完全分布式搭建步骤及难点