hadoop的安装和配置步骤
## Hadoop环境搭建
----------
1.安装与配置
软件 版本 备注
操作系统 CentOS 6.4bit 操作系统版本使用CentOS 6.5亦可
虚拟机 Vmware 9.0
Hadoop 2.6.0 使用2.X的版本即可
JDK 1.7
1.1配置VMware网络
2.准备机器
*通过VMware新建一台CentOS6.4虚拟机，操作系统安装完成以后，使用Root用户登录，添加一个新的用户Hadoop，设置Hadoop用户的密码并授予Hadoop用户的sudo权限
[root@localhost ~]$ useradd hadoop
[root@localhost ~]$ passwd hadoop
[root@localhost ~]$ chmod u+w /etc/sudoes*
3.设置静态IP
*VMware默认使用动态IP,但是由于Hadoop集群是使用机器名进行定位，在/etc/hosts中配置了机器名和IP的映射，如果IP不断变化，则需要不断修改配置文件，所以这里需要把IP设为静态，方便以后操作
[root@localhost ~]$ vim /etc/sysconfig/network
[root@localhost ~]$
关闭防火墙
[root@localhost ~]$ service iptables stop
4.安装JDK,配置Java环境变量
*查看JDK路径
[root@localhost ~]$ whereis java
[root@localhost ~]$ ll /usr/bin/java
[root@localhost ~]$ ll /etc/alternatives/java
修改配置文件
[root@localhost ~]$ vi /etc/profile*
5.配置ssh免登录
6.在Hadoop官网网站下载，稳定版并且已经编译好的二进制包，并解压缩
*@1.[root@master ~]$ wget http://Hadoop下载网址
@2.设置环境变量
@3.修改配置文件(etc/hadoop/hadoop-env.sh)添加
export JAVA_HOME=
# The java implementation to use.
export JAVA_HOME=/opt/modules/jdk1.7.0_67
# The jsvc implementation to use. Jsvc is required to run secure datanodes.
#export JSVC_HOME=${JSVC_HOME}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}
@4.配置文件(etc/hadoop/core-site.xml),内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-senior.ibeifeng.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/temp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>
@5.配置文件(etc/hadoop/hdfs-site.xml),内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-senior.ibeifeng.com:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop-senior.ibeifeng.com:50070</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
@6.配置文件(etc/hadoop/yarn-site.xml),内容如下：
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-senior.ibeifeng.com</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
</configuration>
@7.配置文件(etc/hadoop/mapred-site.xml),内容如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior.ibeifeng.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior.ibeifeng.com:19888</value>
</property>
</configuration>
7.格式化HDFS
[hadoop@localhost ~]$ hdfs dfs namenode -format
8.启动的程序的各个节点