【问题标题】:Hadoop dfs -ls returns list of files in my hadoop/ dirHadoop dfs -ls 返回我的 hadoop/ 目录中的文件列表
【发布时间】:2011-01-24 12:45:19
【问题描述】:

我已经在 Win7 下设置了一个通过 cygwin 运行的单节点 Hadoop 配置。通过

启动Hadoop后
bin/start-all.sh
我运行
bin/hadoop dfs -ls
它返回我的 hadoop 目录中的文件列表。然后我运行
bin/hadoop datanode -format<br>bin/hadoop namenode -format
但 -ls 仍然返回我的 hadoop 目录的内容。据我了解,它应该什么都不返回(空文件夹)。我究竟做错了什么?

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    您是否编辑了 conf 文件夹下的 core-site.xml 和 mapred-site.xml ? 您的 hadoop 集群似乎处于本地模式。

    【讨论】:

      【解决方案2】:

      我知道这个问题已经很老了,但是 Hadoop 中的目录结构发生了一些变化(2.5 版) Jeroen 的当前版本是。

      hdfs dfs -ls hdfs://localhost:9000/users/smalldata

      也仅供参考 - 不推荐使用 start-all.sh 和 stop-all.sh,而应该使用 start-dfs.sh 和 start-yarn.sh

      【讨论】:

        【解决方案3】:

        我遇到了同样的问题,并通过显式指定 NameNode 的 URL 解决了它。

        要列出 hdfs 空间根目录中的所有目录,请执行以下操作:

        ./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/
        

        文档说明了配置中的默认 hdfs 点,但我找不到它。如果有人知道他们的意思,请赐教。

        这是我得到信息的地方:http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview

        【讨论】:

          【解决方案4】:

          或者你可以这样做:

          • 运行 stop-all.sh。
          • 删除 dfs 数据和名称目录
          • 名称节点格式
          • 运行 start-all.sh

          【讨论】:

            猜你喜欢
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 2011-06-14
            • 2015-03-30
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            相关资源
            最近更新 更多