【发布时间】:2013-12-06 02:08:14
【问题描述】:
使用 CentOs 5.4
三个虚拟机(使用 vmware 工作站):master、slave1、slave2。 master 用于namenode,slave1 slave2 用于datanode。
Hadoop版本是hadoop-0.20.1.tar.gz,我已经配置了所有相关文件,并以root用户使用命令:/sbin/service iptables stop关闭了防火墙。然后我尝试在master(namenode)虚拟机中格式化namenode并用以下命令启动hadoop,没有报错。
bin/hadoop namenode -format
bin/start-all.sh
然后我现在就在master机器上输入命令“jps”,找到了正确的结果:
5144 JobTracker
4953 NameNode
5079 SecondaryNameNode
5216 Jps
但是大约几秒钟后,当我尝试键入“jps”命令时,所有虚拟机都只有一个进程:JPS。以下是namenode(master)
中显示的结果5236 Jps
怎么了?或者我怎样才能找到导致问题的原因?这是否意味着它找不到任何名称节点或数据节点?谢谢。
附件:我修改过的所有地方:
hadoop-env.sh:
# set java environment
export JAVA_HOME=/usr/jdk1.6.0_13/
核心站点.xml:
<configuration>
<property>
<name>master.node</name>
<value>namenode_master</value>
<description>master</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>local dir</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://${master.node}:9000</value>
<description> </description>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/hdfs/name</value>
<description>local dir</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>${hadoop.tmp.dir}/hdfs/data</value>
<description> </description>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>${master.node}:9001</value>
<description> </description>
</property>
<property>
<name>mapred.local.dir</name>
<value>${hadoop.tmp.dir}/mapred/local</value>
<description> </description>
</property>
<property>
<name>mapred.system.dir</name>
<value>/tmp/mapred/system</value>
<description>hdfs dir</description>
</property>
</configuration>
主人:
master
奴隶:
slave1
slave2
/etc/hosts:
192.168.190.133 master
192.168.190.134 slave1
192.168.190.135 slave2
【问题讨论】:
-
检查日志。根据 Hadoop 的安装方式,它们可以位于任意数量的位置。检查 /var/log、文件夹
logs的 hadoop 主目录等。 -
@DonaldMiner,谢谢,我明白了。
标签: linux networking hadoop centos hdfs