【问题标题】:Namenode UI - Browse File System not working in psedo-distributed modeNamenode UI - 浏览文件系统不在伪分布式模式下工作
【发布时间】:2012-01-19 12:11:56
【问题描述】:

我已经在伪分布式模式下安装了 Hadoop 0.20.2(所有守护进程都在单台机器上)。 它已启动并正在运行,我可以通过命令行访问 HDFS 并运行作业,并且可以看到输出。

但我无法使用 Hadoop 提供的 UI 浏览文件系统。

http://namenode:50070/dfshealth.jsp.. 它显示版本和集群状态.. 当我点击浏览文件系统时它没有显示任何内容。这有什么问题吗?

我可以使用 hdfs shell 命令列出内容,并且在集群模式下它工作正常。

仅在分布式模式下,我无法浏览文件系统..对此的任何输入表示赞赏。我也在psudodistributed模式下安装了hadoop1.0.0,遇到了同样的问题。

【问题讨论】:

  • 这通常源于 dns 或主机名设置问题,或者您的 dns 无法看到其他节点或 hadoop 配置文件中的值不正确。
  • HI,它在单个节点上,并且在配置文件中提供了相同的节点名称。我可以通过命令行访问 HDFS..
  • 是否有任何错误,例如 404?
  • 不,只是空白页.. 没有显示任何内容。
  • 我在表单中看到一个线程.. hadoop-common.472056.n3.nabble.com/….. 但没有回复。我也面临同样的问题。

标签: hadoop


【解决方案1】:

试试这个:

vi /usr/local/hadoop/conf/core-site.xml

并改变这一行:

hdfs://localhost:54310

hdfs://[你的 IP]:54310

将namenode的主机名和IP添加到您浏览上述URL的系统的hosts文件中。如果未完成,则单击“浏览文件系统”链接将失败。

【讨论】:

    【解决方案2】:

    好吧,我也遇到了同样的问题...

    首先我的 namenode 存储目录是 tmp 文件夹,所以当我重新启动机器时,所有数据都丢失了。 所以我将我的namenode存储目录更改为我的hadrdisk中的其他位置。 而且我也面临同样的问题,我无法浏览我的文件系统。 当我检查该文件夹的权限时,没有授予该文件夹的权限,我无法更改该权限。 所以我将 hadoop 文件夹从我的 tmp 文件夹复制到我的主文件夹,并将我的 namenode 存储目录更改为主目录中的那个文件夹。

    我的问题解决了。

    【讨论】:

    • 您能否编辑您自己的答案以使观众更清楚?如果您这样做,我们将不胜感激。
    【解决方案3】:

    打开 /etc/hadoop/conf/core-site.xml 并改变这个 hdfs://localhost:8020 到 hdfs://(your-ip):8020

    然后重启hadoop-datanode服务

    如果这也不起作用,请检查日志。

    【讨论】:

      【解决方案4】:

      这是我的分析。我遇到了同样的问题,我正在使用 AWS。 “浏览文件系统”链接指向 nn_browsedfscontent.jsp。

      nn_browsedfscontent.jsp 通常执行以下操作

      1. 获取datanode ip地址
      2. 获取数据节点端口(50075)
      3. 将请求重定向到 ipaddress:port。

      对于 aws,服务器实例具有私有 DNS(仅在实例之间可用)和公共 DNS(可从外部访问,互联网)。

      在第 1 步中,获取的 IP 地址是私有 DNS,而不是公共 DNS 在第 3 步中,ip 地址:50075 是私有 dns:50075,由于无法公开访问,因此将失败。

      我将私有 dns:50075 替换为公共 dns:50075 并且能够浏览文件系统内容。

      我的javascript知识很差,所以无法修改nn_browsedfscontent.jsp来解决这个问题。不确定是否已经解决。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2014-11-13
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多