【问题标题】:Which node to edit hadoop .xml files on?在哪个节点上编辑 hadoop .xml 文件?
【发布时间】:2017-12-12 19:43:55
【问题描述】:

在编辑hadoop.xml 配置文件(例如hdfs-site.xml)时,hadoop 集群的哪个节点应该是用于编辑文件的节点? IE。有许多节点的集群,所有节点都有一个包含 .xml 和 .properties 文件的 hadoop 文件夹,应该编辑哪些文件“集”以进行配置更改?看docs无法判断。

例如。我正在尝试将hadoop 配置为在找到here 的配置更改之后使用hue,其中需要向hdfs-site.xml 添加行,但该文件存在于集群的所有节点上。我需要为每个节点手动编辑吗?它是否取决于节点是否正在运行某个服务(例如,只需要更改运行资源管理器服务的节点上的配置文件)?

不要经常使用hadoop,因此我们将不胜感激。谢谢。

完全披露(澄清):我使用的是hadoop 的商业版本,名为mapr

【问题讨论】:

    标签: hadoop hue mapr


    【解决方案1】:

    此文件存在于集群的所有节点上。我需要为每个节点手动编辑吗?

    简短的回答。是的,但请参阅答案的底部。

    如果您正在设置 Hue,那么您实际上只需要更改 Hue 服务器上的值。在大多数情况下,所有其他节点应该已经定义了您配置 Hue 的设置。

    那些包括设置

    • HDFS(或 MapR-FS)
    • 纱线
    • 蜂巢/黑斑羚
    • HBase
    • Oozie

    仍然不明白这是如何在表面下工作的

    Hadoop 及其组件以分布式方式运行。每个主机上都有读取这些文件的客户端。如果您在给定的机器上没有 Application Master 或 ResourceManager,它显然不需要 yarn-site.xml 或 mapred-site.xml ......类似地,Hive 和 Impala 的 hive-site.xml。 ..真的就这么简单

    使用名为 mapr 的商业版 hadoop

    没有使用过 MapR,但如果它不提供 GUI 来同步配置,我会感到非常惊讶。 Hortonworks 使用 Apache Ambari; Cloudera 使用 Cloudera 管理器。

    【讨论】:

      【解决方案2】:

      认为已经找到答案(来自另一个 post 的 cmets 中的用户 ProfVersaggi)。看来必须将文件更改复制到集群中的所有节点才能使更改生效。

      这回答了我最初的问题,但仍然不明白这在表面之下是如何工作的,仍然希望得到任何解释。

      【讨论】:

        猜你喜欢
        • 2015-08-04
        • 1970-01-01
        • 1970-01-01
        • 2011-03-09
        • 1970-01-01
        • 2017-10-31
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多