【问题标题】:Hadoop: each namenode and datanode only last for a momentary timeHadoop:每个namenode和datanode只持续一瞬间
【发布时间】:2013-12-06 02:08:14
【问题描述】:

使用 CentOs 5.4

三个虚拟机(使用 vmware 工作站):ma​​sterslave1slave2ma​​ster 用于namenode,slave1 slave2 用于datanode。

Hadoop版本是hadoop-0.20.1.tar.gz,我已经配置了所有相关文件,并以root用户使用命令:/sbin/service iptables stop关闭了防火墙。然后我尝试在ma​​ster(namenode)虚拟机中格式化namenode并用以下命令启动hadoop,没有报错。

bin/hadoop namenode -format
bin/start-all.sh

然后我现在就在ma​​ster机器上输入命令“jps”,找到了正确的结果:

5144 JobTracker
4953 NameNode
5079 SecondaryNameNode
5216 Jps

但是大约几秒钟后,当我尝试键入“jps”命令时,所有虚拟机都只有一个进程:JPS。以下是namenode(ma​​ster)

中显示的结果
5236 Jps

怎么了?或者我怎样才能找到导致问题的原因?这是否意味着它找不到任何名称节点或数据节点?谢谢。


附件:我修改过的所有地方:

hadoop-env.sh:

# set java environment
export JAVA_HOME=/usr/jdk1.6.0_13/

核心站点.xml:

<configuration>

<property>
        <name>master.node</name>
        <value>namenode_master</value>
        <description>master</description>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>local dir</description>
</property>

<property>
        <name>fs.default.name</name>
        <value>hdfs://${master.node}:9000</value>
        <description> </description>
</property>

</configuration>

hdfs-site.xml:

<configuration>
   <property>
       <name>dfs.replication</name>  
       <value>2</value>   
  </property>

<property>
     <name>dfs.name.dir</name>
         <value>${hadoop.tmp.dir}/hdfs/name</value>
         <description>local dir</description>
</property>

<property>
     <name>dfs.data.dir</name>
     <value>${hadoop.tmp.dir}/hdfs/data</value>
     <description>  </description>
</property>

</configuration>

mapred-site.xml:

<configuration>

<property>
        <name>mapred.job.tracker</name>
        <value>${master.node}:9001</value>
        <description> </description>
</property>

<property>
        <name>mapred.local.dir</name>
        <value>${hadoop.tmp.dir}/mapred/local</value>
        <description> </description>
</property>

<property>
        <name>mapred.system.dir</name>
        <value>/tmp/mapred/system</value>
        <description>hdfs dir</description>
</property>

</configuration>

主人:

master

奴隶:

slave1 
slave2  

/etc/hosts:

192.168.190.133 master
192.168.190.134 slave1
192.168.190.135 slave2

【问题讨论】:

  • 检查日志。根据 Hadoop 的安装方式,它们可以位于任意数量的位置。检查 /var/log、文件夹 logs 的 hadoop 主目录等。
  • @DonaldMiner,谢谢,我明白了。

标签: linux networking hadoop centos hdfs


【解决方案1】:

从日志文件中,我发现我应该在文件 core-site.xml 中将 namenode_master 更改为 master。现在可以了。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-24
    • 1970-01-01
    • 2015-03-26
    • 2015-09-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多