hadoop集群安装部署（二）

一、配置hadoop集群

一共有7个文件要修改：
hadoop-2.7.1/etc/hadoop/hadoop-env.sh
hadoop-2.7.1/etc/hadoop/yarn-env.sh
hadoop-2.7.1/etc/hadoop/core-site.xml
hadoop-2.7.1/etc/hadoop/hdfs-site.xml
hadoop-2.7.1/etc/hadoop/mapred-site.xml
hadoop-2.7.1/etc/hadoop/yarn-site.xml
hadoop-2.7.1/etc/hadoop/slaves

（1）hadoop-env.sh 、yarn-env.sh

这二个文件主要是修改JAVA_HOME改成实际本机jdk所在目录位置
执行命令
$gedit etc/hadoop/hadoop-env.sh （及 vi etc/hadoop/yarn-env.sh）

打开文件找到下面这行的位置，改成（jdk目录位置，大家根据实际情况修改）
export JAVA_HOME=/home/hadoop/jdk_1.8.0_45
在 hadoop-env.sh中加上这句:
export HADOOP_PREFIX=/home/hadoop/hadoop-2.7.1

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/data/datanode</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

hdfs-site.xml的完整参数请参考
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

mapred-site.xml的完整参数请参考
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

(5)yarn-site.xml

<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8040</value>
</property>
</configuration>

yarn-site.xml的完整参数请参考
http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

(6)slaves

vim slaves

修改为： master

slave1

这样master和slave1上就有datanode进程

把hadoop-2.7.1文件夹拷贝到其他机器上覆盖。

二、测试hadoop配置

在master主机上

执行命令：

hdfs namenode -format

出现has been successfully formatted 表示格式化成功，否则按照错误提示修改配置文件。

如果命令不能执行检查/etc/profile文件，配置正确的环境变量，保存退出并且执行命令：source /etc/profile

执行命令：

start-dfs.sh

使用jps查看

jps

显示进程NameNode、DataNode、说明成功

在slave1上用jps查看进程，显示进程DataNode、SecondaryNameNode说明成功

执行命令：

start-yarn.sh

查看进程，多了ResourceManager、NodeManager。

在slave1上查看进程，多了NodeManager说明成功。

停止命令：stop-dfs.sh stop-yarn.sh 记得重复测试的时候先停止服务再开启，保证准确性。

web界面检查hadoop

hdfs管理界面 http://master:50070/
yarn的管理界面不再是原来的50030端口而是8088 http://master:8088/

//不能访问的话就把主机名改成IP地址

查看hadoop状态
hdfs dfsadmin -report 查看hdfs的状态报告
yarn node -list 查看yarn的基本信息

//配置文件的修改一定要仔细，一点点错误都会导致格式化错误或者之后的错误。

//如果start命令之后显示的进程不对，就把所有机子的用户目录下面的data目录下的文件都删除，然后在master主机上再执行hdfs namenode -format 格式化一次。

三、使用hadoop集群运行例子

运行自带mapreduce例子grep
执行命令
$hadoop fs -mkdir /input
$hadoop fs -put etc/hadoop/*.xml /input
$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'
$hadoop fs -get output /home/hadoop/output

查看结果
$cat output/*
1 dfsadmin
得到和单机一样的结果，'dfs'只出现一次

//运行hadoop fs命令有时会提示安全模式而不能执行修改删除操作，可以退出安全模式，但是不推荐，进入安全模式可能是因为主机之间进程不同步，把所有主机停止服务，再开启，或者直接重启系统。

//关于hadoop fs 的各种shell命令: http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html

hadoop集群安装部署（二）

一、配置hadoop集群

（1）hadoop-env.sh 、yarn-env.sh

(2) core-site.xml

(3)hdfs-site.xml

(4)mapred-site.xml

(5)yarn-site.xml

(6)slaves

二、测试hadoop配置

三、使用hadoop集群运行例子