【问题标题】:Hadoop fuse on multinode多节点上的 Hadoop 熔断器
【发布时间】:2014-03-18 23:42:23
【问题描述】:

我需要使用 hadoop fuse 在多节点集群上挂载 HDFS。我怎样才能做到这一点?
我已经在单节点集群上成功部署了 fuse,但我怀疑它是否可以在多节点上运行。任何人都可以解决这个问题吗?

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    不管您的集群是单节点还是多节点。如果要在远程机器上挂载 HDFS,请确保该特定机器可以访问集群网络。在您计划使用 FUSE 挂载 HDFS 的节点中设置一个 hadoop 客户端(集群中具有相同的 hadoop 版本)。

    挂载时的区别是namenode url。 (dfs://NAMENODEHOST:NN-IPC-PORT/)

    在单节点的情况下,namenode url 是 localhost(0.0.0.0/127.0.0.1/0),但在多节点集群中,您必须提供 namenode 主机名/IP 地址而不是 localhost。可以在任何可以访问hadoop集群的linux机器上挂载hdfs。

    Trying to use Fuse to mount HDFS. Can't compile libhdfs

    【讨论】:

    • 非常感谢@sachinjose。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多