Hadoop官方地址:

http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

1.安装jdk

hadoop安装使用

hadoop安装使用

hadoop安装使用

2.ssh免秘钥登录

hadoop安装使用官网

hadoop安装使用官网

原理 公钥分发出去 追加到keys文件中

3.部署hadoop包

hadoop安装使用

mkdir /opt/mysoft

hadoop安装使用

hadoop安装使用

hadoop安装使用

hadoop安装使用

cd 家目录  可看到各种启动命令

 技巧:cd - 回到之前所在的目录

bin目录

hadoop安装使用

 

hadoop安装使用

sbin目录

hadoop安装使用

startall stopall 不要用 有问题!

Hadoop配置文件

hadoop安装使用

hadoop安装使用

配置成jdk的绝对路径 为了远程访问

hadoop安装使用

hadoop安装使用

hadoop安装使用

hadoop安装使用

hadoop安装使用

hadoop安装使用

上面配置意思1. 指明namenode在哪  2.指明副本数

hadoop安装使用

技巧:不写localhost写主机名称如node01

官网还有其他配置

hadoop安装使用

配置更改要点:

要更改下图1的hadoop临时目录

 因为namenode元数据和datanode数据的持久化目录都是引用的Hadoop的临时系统目录

hadoop安装使用

hadoop安装使用

hadoop安装使用

注意:etc/hadoop/core-site.xml更改点  作用:1指明namenode位置 2保持持久化数据安全 标红要注意

hadoop安装使用

技巧:软件存入Linux的opt目录  数据存入Linux的var目录

注意:etc/hadoop/hdfs-site.xml更改点  作用:1指明副本数 2指明secondary的节点 标红要注意

hadoop安装使用

hadoop安装使用

hadoop安装使用实际情况有很多节点 有很多主机名  作用:配置datanode即数据

 

官方文档:hadoop安装使用

 

hadoop安装使用

成功提示:

hadoop安装使用

会按照前面指定的Hadoop的临时目录生成对应文件夹和文件

如下所示

hadoop安装使用

hadoop安装使用每格式化一次就会产生一次clusterId 启动只格式化一次

hadoop安装使用

hadoop安装使用

--------

hadoop安装使用

hadoop安装使用

注意:name和data的clusterId一致才能通信 否则会消失

浏览器启动web-ui界面:

hadoop安装使用

dfs命令帮助实例

hadoop安装使用

hadoop安装使用

如文件操作

hadoop安装使用

在界面可以看到

hadoop安装使用

hadoop安装使用

再如 上传文件

hadoop安装使用

hadoop安装使用

 

相关文章:

  • 2021-08-10
  • 2022-01-27
  • 2022-12-23
  • 2021-09-11
  • 2021-08-17
  • 2022-02-14
  • 2021-12-29
猜你喜欢
  • 2021-05-03
  • 2021-08-31
  • 2022-12-23
  • 2021-10-19
  • 2021-04-07
  • 2022-01-23
相关资源
相似解决方案