克隆虚拟机

要克隆的虚拟机环境配置见【Hadoop】环境配置

配置集群

配置:core-site.xml

【Hadoop】伪分布式搭建
写入:
【Hadoop】伪分布式搭建

配置hadoop-env.sh

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

配置hdfs-site.xml

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

启动

格式化NameNode(第一次 格式化)

格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode
【Hadoop】伪分布式搭建
启动NameNode
【Hadoop】伪分布式搭建
启动DataNode
【Hadoop】伪分布式搭建
看web界面 需要关闭防火墙
http://192.168.202.130:50070/dfshealth.html#tab-overview
【Hadoop】伪分布式搭建

配置YARN

配置yarn-env.sh

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

配置yarn-site.xml

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

配置mapred-env.sh

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

配置: (对mapred-site.xml.template重新命名为) mapred-site.xml

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

启动

启动启动前必须保证NameNode和DataNode已经启动

启动ResourceManager

【Hadoop】伪分布式搭建

启动NodeManager

【Hadoop】伪分布式搭建

查看web

http://192.168.202.130:8088/cluster
【Hadoop】伪分布式搭建

配置历史服务器

配置mapred-site.xml

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

启动历史服务器

【Hadoop】伪分布式搭建

查看历史服务器是否启动

【Hadoop】伪分布式搭建

查看web端

http://192.168.202.130:19888/jobhistory
【Hadoop】伪分布式搭建

配置日志的聚集

开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager

配置yarn-site.xml

【Hadoop】伪分布式搭建
【Hadoop】伪分布式搭建

关闭NodeManager 、ResourceManager和HistoryManager

【Hadoop】伪分布式搭建

启动NodeManager 、ResourceManager和HistoryManager

【Hadoop】伪分布式搭建

相关文章: