安装jdk
首先代理aliyun,直接输入下面命令。
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
然后关闭linux和Windows两个系统的防火墙
Linux:service iptables stop
Windows: 设置里面自行关闭
一、查询系统是否已经安装jdk
rpm -qa|grep java
或 #rpm -qa|grep jdk
或 #rpm -qa|grep gcj
二、卸载已安装的jdk
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
上面剩下这三个可以不删除。
三、现在就可以愉快地去装 jdk
首先安装 lrzsz (安装lrzaz后才能使用rz命令上传文件)
yum -y install lrzsz
现在就可以把各种需要的环境装到自己设置好的文件夹下啦。
1)把从Windows下载好的压缩包放到这里(rz上传):/opt/venPackage
rz -Z
然后解压放到这个包下:/opt/ven
解压方式:
tar -zxvf jdk1.8.0_131.gz -C /opt/ven
2) 配置环境变量
vim /etc/profile
配置完环境变量后保存退出。
然后运行配置的环境变量:
source /etc/profile
查看jdk安装情况:
java -version
OK! 配置完成!
配置hadoop
一、使用 rz -Z 将Windows下载好的Hadoop压缩包上传到/opt/venpackbag文件夹下。
然后解压放到这个包下:/opt/ven
解压方式:
tar -zxvf hadoop-3.1.4.tar.gz -C /opt/ven
二、配置Hadoop的环境变量
vim /etc/profile配置完环境变量后保存退出。
然后运行配置的环境变量:source /etc/profile
三、配置Hadoop的配置文件(为方便修改文件内容这里使用Notepad++这个软件,这个软件可以到浏览器搜索下载)。
进入Notepad++后,按右上角的Profile settings这个按钮。
然后登陆你的Linux:
注意:这里面Connection type要改成SFTP
然后点击这个按钮找到Hadoop所需要修改的文件。
然后进入根目录,并一步步找到你存放Hadoop解压包的位置。
然后找到下面这五个文件并进行修改
Hadoop配置文件:
1.hadoop-env.sh
找到第54和59这两行加入相应的jdk和Hadoop的路径,并删除前面的#。
配置JAVA_HOME HDAOOP_HOME
2.core-site.xml
注:最后一行hdfs://后需要加自己的IP地址。
3.hdfs-site.xml
4.yarn-site.xml
注:第二行加上你的主机名
5.mapred-site.xml
四、Hadoop第一次启动,数据格式化
hdfs namenode -format
然后依次输入以下命令:
hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
注意:要关闭防火墙:service iptables stop
然后到浏览器输入你的IP地址和端口号进入Hadoop