hadoop的伪分布式搭建

hadoop模式：

1.本地模式（使用本地文件系统），仅仅运行本机，适合测试

2.伪分布式模式 ， 运行一台机器，只有一个节点，使用的是分布式文件系统

3.分布式模式 （hadoop的守护进程运行在一个集群，多个节点）

一，准备环境

1.配置hostname

进行永久修改

vim /etc/sysconfig/network

修改过后保存退出

2.进行操作hostname时，还没有修改完成，需要重启之后进行查看

3.配置hosts

vim /etc/hosts

修改以后保存退出

4.在本机环境同样进行配置

5.关闭 防火墙,进行永久性关闭

查看防火墙的状态 service iptables status ,chkconfig | grep iptables

chkconfig iptables off

6.关闭selinux,selinux是Linux下的自安全机制

学习环境可以将它禁用

7.创建一个用户，并给这个用户设置sudo权限

useradd 用户名，具体可以查看：http://www.cnblogs.com/irisrain/p/4324593.html

更改文件的权限

保存退出后，执行chmod u-w /etc/sudoers

8.重启之后，使用普通用户进行登陆

9.上传jdk包，设置jdk

保存退出后，需要进行命令source /etc/profile

二.准备 搭建Hadoop的伪分布式环境

选用hadoop2.5.0cdh5.3.6版本

1.配置hadoop里/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hadoop-env.sh的jdk

除了我设置的这样情况，还能设置为export JAVA_HOM=${JAVA_HOME}

2.配置core-site.xml ，创建一个路径来存放hdfs的数据

<property>
                <name>fs.defaultFS</name>
                <value>hdfs://ruyijie01.com:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
        </property>

3.配置hdfs-site.xml,这是配置hdfs存放数据备份的副本数，默认是3个

我是单机运行，所以只配置了副本数一个

4.现在对hdfs进行格式化

格式化namenode完成后，在我们存放数据路径下生成dfs的文件

5.可以启动hdfs进行查看

6.查看ui界面,查看自己设置的主机名:50070，进行查看

7.配置mapred-site.xml   

8.配置yarn-site.xml

8.命令进行启动resourcemanager,nodemanager

ui界面进行查看，端口是8088

到此伪分布式的hadoop的环境就搭建起来了，还有一些历史服务的相关配置就不进行配置了