hadoop全分布式搭建centos7

1、准备虚拟机四台
192.168.25.160 node01
192.168.25.161 node02
192.168.25.162 node03
192.168.25.163 node04
2、配置免密登录
略
3、jdk安装
下载jdk1.8
解压jdk资源包到/usr/local/java下
4、配置环境变量
vim /etc/profile（文件末添加一下内容）

export JAVA_HOME=/usr/local/java
 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
 export PATH="$JAVA_HOME/bin:$PATH"

然后执行source /etc/profile使文件生效
执行java -version查看jdk安装是否成功
hadoop全分布式搭建centos7

                         开始搭建hadoop全分布式集群

hadoop全分布式搭建centos7

1、配置hadoop环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH= $PATH:$ JAVA_HOME/bin
export CLASSPATH=.: $JAVA_HOME/lib/tools.jar:$ JAVA_HOME/lib/dt.jar
export HADOOP_HOME=/opt/hadoop

2、配置域名解析
vim /etc/hosts
192.168.25.160 node01
192.168.25.161 node02
192.168.25.162 node03
192.168.25.163 node04

3、etc/hadoop下配置hadoop-env.sh文件
设置jdk
export JAVA_HOME=/usr/java/jdk1.8.0_181
设置namenode节点工作用户
export HDFS_NAMENODE_USER=root
设置datanode节点工作用户
export HDFS_DATANODE_USER=root
设置secondarynanenode节点工作用户
export HDFS_SECONDARYNAMENODE_USER=root

4、etc/hadoop下配置core.site.xml文件
fs.defaultFS设置namenode主节点
hadoop.tmp.dir设置临时数据文件夹

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/temporatyData</value>
    </property>
</configuration>

5、etc/hadoop下配置hdfs.site.xml文件
dfs.replication设置副本数
dfs.namenode.secondary.http-address设置secondarynamenode的工作节点

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:9868</value>
    </property>
</configuration>

6、etc/hadoop下配置workers文件
设置datanode的节点地址
vim workers
node02
node03
node04
7、格式化namenode节点
hdfs namenode -format

8、启动hadoop
start-dfs.sh
hadoop全分布式搭建centos7