可以到bilibili观看原作者视频
https://www.bilibili.com/video/BV1sE41197mi

创建用户名hadoop
CentOS7下hadoop部署
提高hadoop权限,输入vim /etc/sudoers
添加hadoop ALL=(root) NOPASSWD:ALL
使用sudo可以不用输入密码
CentOS7下hadoop部署CentOS7下hadoop部署

查看hadoop账号
CentOS7下hadoop部署
设置网络
CentOS7下hadoop部署CentOS7下hadoop部署

输入sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33CentOS7下hadoop部署
修改文件
BOOTPROTO=dhcp 为动态分配的ip
修改结果如下图
CentOS7下hadoop部署

//永久性的修改主机名称,重启后能保持修改后的。
hostnamectl set-hostname hadoop000
CentOS7下hadoop部署
修改hosts文件,将主机名与IP映射

免密登录
生成秘钥
CentOS7下hadoop部署
查看秘钥生成位置
CentOS7下hadoop部署
把公钥信息存在auhorized_keys:授权秘钥
“>”:功能为覆盖
“>>”:功能为追加
CentOS7下hadoop部署
增加权限
CentOS7下hadoop部署
测试免密登录
CentOS7下hadoop部署
Xshell6
在Windows系统中的C:\Windows\System32\drivers\etc\hosts添加
(用管理员方式打开文本文档,在文档内打开)
CentOS7下hadoop部署
在Windows中ping hadoop000,测试下
CentOS7下hadoop部署
在xshell6中连接hadoop000主机
CentOS7下hadoop部署
关闭防火墙
CentOS7下hadoop部署
关闭开机自启
CentOS7下hadoop部署
查看防火墙状态(不关闭防火墙,会导致一些端口用不了)
CentOS7下hadoop部署
创建softwares目录与APP目录
CentOS7下hadoop部署
把hadoop,jdk复制到softwares中
CentOS7下hadoop部署
查看java是安装
CentOS7下hadoop部署
卸载openjdk
CentOS7下hadoop部署
解压hadoo,jdk到app中(进入softwares)

CentOS7下hadoop部署CentOS7下hadoop部署CentOS7下hadoop部署

配置jdk,hadoop
CentOS7下hadoop部署CentOS7下hadoop部署

让文件生效
CentOS7下hadoop部署
查看配置是否生效
CentOS7下hadoop部署
修改hadoop配置文件
进入hadoop目录

CentOS7下hadoop部署
修改hadoop-env.sh
CentOS7下hadoop部署
找到,并修改JAVA_HOME
CentOS7下hadoop部署
修改hdfs-site.xml
CentOS7下hadoop部署
把以下代码复制到文件中(1表示单机)

dfs.replication
1


dfs.permissions
false

CentOS7下hadoop部署
修改core-site.xml并新建一个tmp目录
CentOS7下hadoop部署
把以下代码复制到文件中

fs.defaultFS
hdfs://hadoop000:9000


hadoop.tmp.dir
/home/hadoop/app/tmp

CentOS7下hadoop部署
添加mapred-site.xml
这个文件一开始没有,但官方提供了模板,拷贝即可
CentOS7下hadoop部署CentOS7下hadoop部署

把以下代码复制到文件中(用yarn框架执行MapReduce,yarn为hadoop自带的资源调度框架)

mapreduce.frameworke.name
yarn

CentOS7下hadoop部署
修改yarn-site.xml
CentOS7下hadoop部署
把以下代码复制到文件中(shuffle为mapreduce的一个过程)

yarn.nodemanager.hostname
hadoop000


yarn.nodemanager.aux-services
mapreduce_shuffle

CentOS7下hadoop部署
格式化:HDFS(NameNode)
hdfs namenode -format
CentOS7下hadoop部署
出现表示格式化成功
CentOS7下hadoop部署
查看hadoop文件下结构
CentOS7下hadoop部署
启动hadoop环境
start-all.sh
CentOS7下hadoop部署CentOS7下hadoop部署
CentOS7下hadoop部署
CentOS7下hadoop部署

格式化只能一次不要重复格式化,会损坏文件系统
如果已经解决方法:①重复格式化删除~/app下tmp文件,②改classID让NameNode和DateNode一致

测试
访问hadoop000:50070

CentOS7下hadoop部署

案例测试
CentOS7下hadoop部署
准备一个文件
CentOS7下hadoop部署
word.txt文件内容
CentOS7下hadoop部署
上传到分布式系统
创建文件夹
CentOS7下hadoop部署CentOS7下hadoop部署

上传到input中
CentOS7下hadoop部署

下载查看
CentOS7下hadoop部署CentOS7下hadoop部署

运行官方示例(测试wordcount)
CentOS7下hadoop部署
(output输出文件不能先创建,会出错,系统会以为里面有东西会覆盖它)
CentOS7下hadoop部署
查看运行结果
CentOS7下hadoop部署

相关文章: