大数据环境安装测试-Hadoop

首先在阿里云购买一个服务器Linux centos使用Xshell连接（通过ip地址账号密码）

通过Xftp 把下载好的jdk、hadoop压缩包放到远程服务器上文件目录/software

执行解压命令分别解压jdk和hadoop压缩包

jdk：tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local/java/

hadoop：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop/

查看jdk 和 hadoop版本

jdk：java -version 命令

hadoop：到hadoop目录下执行./bin/hadoop version

配置环境变量通过vim编辑/etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_162 export JRE_HOME= ${JAVA_HOME}/jre exportCLASSPATH=.:$ {JAVA_HOME}/lib: ${JRE_HOME}/lib export PATH=.:$ {JAVA_HOME}/bin: ${HADOOP_HOME}/bin:$ {HADOOP_HOME}/sbin: $PATH export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1 export PATH=$ PATH: $HADOOP_HOME/bin export PATH=$ PATH:$HADOOP_HOME/sbin
（Markdown原因…）

测试hadoop

cd /usr/local/hadoop/hadoop-2.7.1/

mkdir ./input

cp ./etc/hadoop/*.xml ./input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output ‘dfs[a-z.]+’ cat ./output/*

伪分布式环境配置

core-site.xml ：
大数据环境安装测试-Hadoop
hdfs-site.xml:

格式化：./bin/hdfs namenode -format

接着开启 NaneNode 和 DataNode 守护进程：
./sbin/start-dfs.sh

jps查看是否成功
大数据环境安装测试-Hadoop