【问题标题】:Locating Cloudera Manager HDFS config files定位 Cloudera Manager HDFS 配置文件
【发布时间】:2012-10-30 16:45:10
【问题描述】:
我已经通过 Cloudera Manager 安装了一个集群,现在我需要手动启动该集群。
我一直在使用以下命令:
$ sudo -u hdfs hadoop namenode / datanode / jobtracker
但随后dfs.name.dir 设置为/tmp。我似乎找不到 cloudera manager 的 HDFS 配置文件在哪里。 /usr/lib/hadoop-02*/conf 中的那些似乎很少。他们缺少dfs.name.dir,这是我特别要寻找的。顺便说一句,我使用的是 RHLE 6 系统。懒惰,虽然我可以复制 cloudera manager 的 HDFS 配置文件,所以我不必手动创建它们,将它们复制到 6 个节点:)
谢谢
【问题讨论】:
标签:
hadoop
cloudera
cloudera-manager
【解决方案1】:
我遇到了同样的问题。
我正在从 cloudera manager ui 更改配置参数,但不知道我的更改在本地文件系统上的何处更新。
我运行了 grep 命令,发现在我的案例中配置存储在 /var/run/cloudera-scm-agent/process/*-hdfs-NAMENODE 目录中。
所以大卫是对的,每当我们从 ui 更改配置并重新启动服务时,它都会创建新的配置。 /var/run/cloudera-scm-agent/process/ 目录中的设置。
【解决方案2】:
使用 CentOS 6.5,Cloudera Manager 特殊文件不会显示在 SEARCH FILES 结果中,因为它们的权限设置为对除“hdfs”用户之外的所有人隐藏。此外,本地驱动器上有多个版本的 hdfs-site.xml,其中一些具有部分真实设置。实际设置文件位于 DATANODE 文件夹中,而不是 NAMENODE 文件夹中,后者中缺少 dfs.datanode.data.dir 值就是证明。
【解决方案3】:
Cloudera manager 每次启动集群时部署配置文件,每次在不同的目录中。目录以进程 ID 或类似名称命名。
配置作为参数显式传递给每个守护程序。因此,如果您查看每个 hadoop 守护程序的命令行,您可以看到配置所在的位置(或者只是通过磁盘 grep 查找 hdfs-site.xml。配置文件的名称与往常相同。
【解决方案4】:
我在同一条船上找到了这个答案:
允许 Hadoop 客户端用户使用 HDFS、MapReduce、YARN
和您创建的 HBase 服务,Cloudera Manager 生成客户端
包含相关配置文件的配置文件
您的服务中的设置。部署这些文件
Cloudera Manager 根据您拥有的服务自动
安装、添加服务或添加网关角色时
主持人。
您可以下载和分发这些客户端配置文件
如有必要,手动发送给服务的用户。
集群操作菜单上的客户端配置 URL 命令
打开一个弹出窗口,显示指向客户端配置 zip 的链接
为集群中安装的服务创建的文件。你可以
点击链接下载这些 zip 文件。
有关这方面的更多信息,请参阅部署客户端配置文件
主题。
在我们的系统上,我通过http://your_server:7180/cmf/services/status 到达那里,然后单击“添加集群”按钮下的“操作”弹出窗口。希望对您有所帮助。