总目录:https://blog.csdn.net/qq_41106844/article/details/105553392

Hadoop - 子目录:https://blog.csdn.net/qq_41106844/article/details/105553369

 

硬件环境设置

参数列表:

虚拟机一:192.168.110.220   主机名:master

虚拟机二:192.168.110.221   主机名:slave1

虚拟机三:192.168.110.222   主机名:slave2

 

虚拟机网卡设置:

 
1.3.1搭建Hadoop前的准备
VM8网卡配置
 
1.3.1搭建Hadoop前的准备
虚拟网络编辑器
 
1.3.1搭建Hadoop前的准备
NAT设置

网络配置(三台)

修改网络文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 
1.3.1搭建Hadoop前的准备
master网卡配置
 
1.3.1搭建Hadoop前的准备
slave1网卡配置
 
1.3.1搭建Hadoop前的准备
slave2网卡配置

ps:三台虚拟机这时已经可以相互ping通。

修改主机名

vi /etc/hostname

localhost.localdomain

分别修改为:

master

slave1

slave2

修改hosts表

vi /etc/hosts

三台都要添加。

 
1.3.1搭建Hadoop前的准备
添加路由表

重启网卡

systemctl restart network

设置防火墙开机关闭

systemctl disable firewalld

三台虚拟机重启网卡后,关于网络方面配置结束。

SSH免密(三台)

在配置免密前,需要建立用于管理Hadoop与后续组件的用户(三台虚拟机都需要进行):

新建用户

useradd hadoop

修改密码

passwd hadoop

修改sudo文件

visudo

切换到hadoop用户

su hadoop

之后一切操作使用hadoop用户来隔绝权限

修改地方如下图所示:

 
1.3.1搭建Hadoop前的准备
在root这一行下添加hadoop的配置  

这里配置的意思大致是:

允许XX用户执行任意路径下的任意命令

 

正式开始配置ssh免密登录:

生成**(不提示直接生成**)

ssh-****** -t rsa -P '' -f ~/.ssh/id_rsa

将公钥放到公钥池

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改文件权限

chmod 600 ~/.ssh/authorized_keys

之后就可以将公钥传输到想要免密登录的主机的公钥池内。

我们只做master免密登陆slave1/2

 
1.3.1搭建Hadoop前的准备
建立ssh**

传输命令

scp ~/.ssh/id_rsa.pub [email protected]:/tmp/authorized_keyset

写入文件

cat /tmp/authorized_keyset >> ~/.ssh/authorized_keys

 
1.3.1搭建Hadoop前的准备
将公钥传输给slave1

同理传输到slave2。

之后在slave1和slave2内将master传输过来的公钥放到自己的公钥池内。

 

 
1.3.1搭建Hadoop前的准备
将公钥放到自己的公钥池(在slave1内做的操作)  

slave2同理。

 

之后无需密码就可以进行登录。

 
1.3.1搭建Hadoop前的准备
master免密登录slave1


JDK配置(只在master)

在进行配置之前,我们在/usr目录下新建目录hdk(记得修改所属用户),用来存放hadoop相关配置软件。

下载jdk1.8(linux版)

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

修改所属用户

chown -R hadoop /usr/hdk

之后通过xftp传输到虚拟机内。

 
1.3.1搭建Hadoop前的准备
传输jdk源码

 

解压jdk

tar -zxvf jdk-1.8.tar.gz

重命名

mv jdk1.8.0_11/ jdk

添加环境变量

vi ~/.bash_profile

添加语句

JAVA_HOME=/usr/hdk/jdk 

PATH=$PATH:$JAVA_HOME/bin 

export JAVA_HOME    

export PATH 

刷新环境变量

source ~/.bash_profile 

检验java是否安装成功

java -version

输出为:

java version "1.8.0_11"

Java(TM) SE Runtime Environment (build 1.8.0_11-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)

这时表示jdk配置成功

 
1.3.1搭建Hadoop前的准备
解压jdk源码
 
1.3.1搭建Hadoop前的准备
用户环境变量文件配置  

环境变量配置也可以配置系统环境变量文件  /etc/profile

 

 
1.3.1搭建Hadoop前的准备
查看java版本

相关文章:

  • 2022-01-23
  • 2022-03-05
  • 2021-06-04
  • 2021-06-21
  • 2021-09-02
  • 2021-06-26
  • 2021-07-14
  • 2021-06-18
猜你喜欢
  • 2021-08-26
  • 2021-12-26
  • 2021-04-13
  • 2021-05-28
  • 2022-12-23
  • 2021-08-03
  • 2021-06-18
相关资源
相似解决方案