基于Hadoop搭建HDFS伪分布式环境的安装步骤

基于Hadoop搭建HDFS伪分布式环境的安装步骤

本次实验中，老师使用的是hadoop用户，我是直接使用root用户，所以没有sudo，环境变量也是/etc/profile，其他的基本一样。

1. JDK安装

查看已经上传的jdk文件，并安装

安装命令： yum localinstall -y jdk-8u171-linux-x64.rpm

添加到系统环境变量： ~/.bash_profile

​ export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

​ export PATH=JAVAHOME/bin:$JAV{A}_{H}OME/bin:$PATH:$HOME/bin

使得环境变量生效：source ~/.bash_profile

​ 验证java是否配置成功: java -version

1. 安装SSH

在安装ssh是出错，用xshell进行ssh连接，发现可以连通，所以不再安装

1. 安装sshd的时候，发现服务中sshd服务以及启动，所以不安装了

1. 安装Hadoop

下载并解压Hadoop，

已经下载并放到桌面上，直接解压，安装

解压：tar -zxvf Hadoop-2.6.0-cdh5.7.0.tar.gz

查看目录，并进入/etc/Hadoop/

1. 修改配置文件

hadoop配置文件的修改($HADDOP_HOME/etc/hadoop)

hadoop-env.sh

​ export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

​ core-site.xml

​

​ fs.defaultFS

​ hdfs://localhost:9000

​

​ 由于hadoop伪分布式存储默认使用宿主系统的临时文件夹，会导致每次宿主系统重启后丢失，需要手动制定一个目录

​

​ hadoop.tmp.dir

​ /home/hadoop/app/tmp

​

​ hdfs-site.xml

​

​ dfs.replication

​ 1

​

1. 给Hadoop配置环境变量

添加环境变量：

​ export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

​ export PATH=HADOOPHOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

使环境变量生效 source /etc/profile

查看Hadoop

1. 启动hdfs

格式化分布式文件系统（仅第一次执行即可，不可重复执行）：

​ hdfs namenode -format

启动: start-dfs.sh

验证是否启动成功：

​ jps

​ NameNode

​ SecondaryNameNode

​ DataNode

浏览器访问方式：http://localhost:50070

8) 关闭hdfs

​ stop-dfs.sh