最近刚刚学习了安装hadoop,在这里分享一下

首先配置我们的网卡,首先在主目录下进入 etc/sysconfig/network-scripts/,然后ls查看目录下的文件,找到自己的网卡,我的是图下标记的这个:

centos7下搭建hadoop

Vi进入文件,按i编辑,默认动态ip,改为静态,在文件后添加4行配置代码,结果如下:

centos7下搭建hadoop

保存并退出。

重启网卡:systemctl restart network

修改主机名和主机映射:

vi etc/hostname  将默认改为自己的名字,保存并退出

centos7下搭建hadoop

vi etc/hosts  追加自己的ip地址后加自己的名字

centos7下搭建hadoop

如果想让自己的系统认识自己,在c:/windows/system32/drivers/etc/hosts文件中添加自己ip地址后加自己的名字

 

安装jdkhadoop

上传jdkhadoop解压到opt文件夹

Vi到主目录bashrc文件里配置环境变量:

centos7下搭建hadoop

配置完环境变量就该配置hadoop文件了,目录在opt/hadoop-2.7.5/etc/hadoop/下:

centos7下搭建hadoop

今天配置的是伪分布式,指的一台计算机模拟多台电脑,扮演多个角色:

Namenode  datanode   secondarynamenode  resoircenanater   nodenanager

配置的是以下文件:

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves文本文件

首先配置core-site.xml:

configuration标签里添加:

<property>

 <name>fs.defaultFS</name>

 <value>hdfs://he:9000</value>

</property>

 

修改hdfs-site.xmlhadoop默认备份数是3份,这里改成一份)

<property>

 <name>dfs.replication</name>

 <value>1</value>

</property>

修改存储路径

<property>

 <name>dfs.namenode.name.dir</name>

 <value>file:///home/hadoop/opt/tmp/dfs/name</value>

</property>

<property>

 <name>dfs.datanode.name.dir</name>

 <value>file:///home/hadoop/opt/tmp/dfs/data</value>

</property>

<property>

 <name>dfs.namenode.http-address</name>

 <value>he:50070</value>

</property>

 

修改mapred-site.xml文件:

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

启用yarn的资源调度框架

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

</property>

 

修改slaves

配置datanode的主机名称

localhost改为he(就是自己的名字)

 

修改yarn-site.xml

配置yarn的主机

<property>

 <name>yarn.resourcemanager.hostname</name>

 <value>he</value>

</property>

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>he</value>

</property>

 

切换root用户,关闭selinux  :进入etc/selinux/config,修改selinux

centos7下搭建hadoop

 

关闭防火墙:

临时关闭:systemctl stop firewalld

永久关闭:systemctl disable firewalld

查看防火墙状态:systemctl status firewalld

退出管理员用户:exit

执行hdfs文件系统格式化:hdfs namenode -format

只要状态为0就成功

重启机器reboot

 

配置无密码登录:

ssh-****** -t rsa

一直敲回车

当前主体目录下多了.ssh文件和目录

如果想无密码登录到那台机器执行

ssh-copy-id 你想登录到的计算机名

实现了无密码登录

 

接下来start-all 完之后jps,能看到5个节点就对了

centos7下搭建hadoop

在浏览器中输入he550070,就会看到如下界面:

centos7下搭建hadoop

至此hadoop配置成功

相关文章: