如何使用 webHDFS 查看本地集群外的 Hadoop 文件系统答案

【问题标题】：How to view the FileSystem of Hadoop out of the local cluster, using webHDFS如何使用 webHDFS 查看本地集群外的 Hadoop 文件系统
【发布时间】：2012-05-24 09:49:32
【问题描述】：

我是 Hadoop 新手，我花了一周的时间才找到 webHDFS，我认为这可以帮助我将 FileSystem 显示在集群之外。我可以在“http://master:50070/webhdfs/v1/user/hadoop?user.name=hadoopes&op=LISTSTATUS”中查看文件系统，但是，它显示，

{"文件状态":{"文件状态":[ {"accessTime":0,"blockSize":0,"group":"supergroup","length":0,"modificationTime":1337823103411,"owner":"hadoop","pathSuffix":"Yijin","权限":"777","复制":0,"type":"DIRECTORY"}, {"accessTime":1337824794722,"blockSize":67108864,"group":"supergroup","length":11,"modificationTime":1337751080433,"owner":"pc","pathSuffix":"hello.txt" ,"权限":"644","复制":2,"类型":"文件"}, {"accessTime":0,"blockSize":0,"group":"supergroup","length":0,"modificationTime":1337848266732,"owner":"hadoop","pathSuffix":"test","权限":"755","复制":0,"type":"DIRECTORY"}, {"accessTime":1337824798450,"blockSize":67108864,"group":"supergroup","length":18,"modificationTime":1337751301976,"owner":"pc","pathSuffix":"test2.txt" ,"权限":"644","复制":2,"类型":"文件"}, {"accessTime":0,"blockSize":0,"group":"supergroup","length":0,"modificationTime":1337821412488,"owner":"hadoop","pathSuffix":"small","权限":"777","复制":0,"type":"DIRECTORY"} ]}}

很难阅读。有没有其他方法可以通过 webHDFS 查看文件系统，这是我的“hdfs-site.xml”

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hadoop/hdfs/data</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

【问题讨论】：

标签： hadoop

【解决方案1】：

webHDFS 以 JSON 格式返回其所有内容，如果您想要用户友好的输出格式，只需将浏览器指向 http://master:50070/ 并从那里向下钻取

【讨论】：

但是，master:50070 无法从外部查看，文件系统将链接到从站。

【解决方案2】：

您可以构建一个遵循 LISTSTATUS 操作返回的对象的 JSON 架构的类。使用映射器（例如 Jackson ObjectMapper）读取 JSON 并将其转换为您的 Class 对象。终于可以随心所欲的提示了！

【讨论】：