网络配置
1、利用Virtualbox虚拟机建立3台虚拟机，安装ubuntu18.04，见下图
2、进入ubuntu系统，对主机进行重命名。“Vim /etc/hostname”
将3台虚拟机的名字分别改为“ubuntu-master”、“ubuntu-slave1”、“ubuntu-slave2”。
3、配置hosts文件，填入虚拟机的ip地址及机器名称
Vim /etc/hosts
配置ssh免密码连入
1、每个结点分别产生公私**。进入在用户主目录下的.ssh目录中，生成公私**，id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件。见下图
用上述同样的方法在剩下的两个结点中如法炮制即可。
2、单机回环ssh免密码登录测试
即在单机结点上用ssh进行登录，看能否登录成功。登录成功后注销退出，过程如下：
如上图所示有以上信息表示操作成功，单点回环SSH登录及注销成功，这将为后续跨子结点SSH远程免密码登录作好准备。
用上述同样的方法在剩下的两个结点中如法炮制即可。
3、让主结点(master)能通过SSH免密码登录两个子结点（slave）
为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下：
如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，这一过程需要密码验证。接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：
由上图可以看出，node1结点首次连接时需要，“YES”确认连接，这意味着master结点连接node1结点时需要人工询问，无法自动连接，输入yes后成功接入，紧接着注销退出至master结点。要实现ssh免密码连接至其它结点，还差一步，只需要再执行一遍ssh node1，如果没有要求你输入”yes”，就算成功了，过程如下：
如上图所示，master已经可以通过ssh免密码登录至node1结点了。
对node2结点也可以用同样的方法进行，如下图：Node2结点复制master结点中的公钥文件
至此，SSH免密码登录已经配置成功。
下载并解压hadoop安装包
1、解压hadoop压缩包到/usr/local
2、将文件的拥有者改为lgy
3、在shell路径里添加hadoop执行程序所在目录
下载java
我把java放在/usr/lib/jvm
在shell路径里添加java路径配置
配置hadoop
1.不同模式的关键匹配属性
独立模式不需要进行单独设置。
2.伪分布模式
1、hadoop目录下etc/hadoop/下进行配置
-
core-site.xml
-
hdfs-site.xml
-
mapred-site.xml
-
yarn-site.xml
2、hadoop运行测试 -
启动hadoop
-
页面查看运行情况
- 停止hadoop
3.全分布模式
1、hadoop目录下etc/hadoop/下进行配置
-
core-site.xml
-
hdfs-site.xml
-
mapred-site.xml
-
yarn-site.xml
-
workers
-
hadoop-env.sh
Hadoop目录下sbin/下进行配置
start-yarn.sh stop-yarn.sh
start-dfs.sh stop-dfs.sh
从机参照主机配置。
格式化namenode
在主节点执行
启动hadoop
- 通过jps可以查看各机器启动的hadoop服务
- 通过网页ubuntu-master:8088可以查看集群运行状态