【问题标题】:Locating Cloudera Manager HDFS config files定位 Cloudera Manager HDFS 配置文件
【发布时间】:2012-10-30 16:45:10
【问题描述】:

我已经通过 Cloudera Manager 安装了一个集群,现在我需要手动启动该集群。

我一直在使用以下命令:

$ sudo -u hdfs hadoop namenode / datanode / jobtracker

但随后dfs.name.dir 设置为/tmp。我似乎找不到 cloudera manager 的 HDFS 配置文件在哪里。 /usr/lib/hadoop-02*/conf 中的那些似乎很少。他们缺少dfs.name.dir,这是我特别要寻找的。顺便说一句,我使用的是 RHLE 6 系统。懒惰,虽然我可以复制 cloudera manager 的 HDFS 配置文件,所以我不必手动创建它们,将它们复制到 6 个节点:)

谢谢

【问题讨论】:

    标签: hadoop cloudera cloudera-manager


    【解决方案1】:

    我遇到了同样的问题。 我正在从 cloudera manager ui 更改配置参数,但不知道我的更改在本地文件系统上的何处更新。

    我运行了 grep 命令,发现在我的案例中配置存储在 /var/run/cloudera-scm-agent/process/*-hdfs-NAMENODE 目录中。

    所以大卫是对的,每当我们从 ui 更改配置并重新启动服务时,它都会创建新的配置。 /var/run/cloudera-scm-agent/process/ 目录中的设置。

    【讨论】:

    【解决方案2】:

    使用 CentOS 6.5,Cloudera Manager 特殊文件不会显示在 SEARCH FILES 结果中,因为它们的权限设置为对除“hdfs”用户之外的所有人隐藏。此外,本地驱动器上有多个版本的 hdfs-site.xml,其中一些具有部分真实设置。实际设置文件位于 DATANODE 文件夹中,而不是 NAMENODE 文件夹中,后者中缺少 dfs.datanode.data.dir 值就是证明。

    【讨论】:

      【解决方案3】:

      Cloudera manager 每次启动集群时部署配置文件,每次在不同的目录中。目录以进程 ID 或类似名称命名。
      配置作为参数显式传递给每个守护程序。因此,如果您查看每个 hadoop 守护程序的命令行,您可以看到配置所在的位置(或者只是通过磁盘 grep 查找 hdfs-site.xml。配置文件的名称与往常相同。

      【讨论】:

        【解决方案4】:

        我在同一条船上找到了这个答案:

        允许 Hadoop 客户端用户使用 HDFS、MapReduce、YARN 和您创建的 HBase 服务,Cloudera Manager 生成客户端 包含相关配置文件的配置文件 您的服务中的设置。部署这些文件 Cloudera Manager 根据您拥有的服务自动 安装、添加服务或添加网关角色时 主持人。

        您可以下载和分发这些客户端配置文件 如有必要,手动发送给服务的用户。

        集群操作菜单上的客户端配置 URL 命令 打开一个弹出窗口,显示指向客户端配置 zip 的链接 为集群中安装的服务创建的文件。你可以 点击链接下载这些 zip 文件。

        有关这方面的更多信息,请参阅部署客户端配置文件 主题。

        在我们的系统上,我通过http://your_server:7180/cmf/services/status 到达那里,然后单击“添加集群”按钮下的“操作”弹出窗口。希望对您有所帮助。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多