我们可以有 cloudera CDH5 配置生成器吗？答案

【问题标题】：Can we have cloudera CDH5 configurations generator?我们可以有 cloudera CDH5 配置生成器吗？
【发布时间】：2014-03-18 17:42:21
【问题描述】：

我正在使用 5 节点 cloudera 集群（4 个数据节点和 1 个名称节点）来运行 CDH5 认证套件。

五个节点中的每一个都具有 128GB 的 RAM 和 40 个 CPU 内核。证书。套件因 OutOfMemory 错误而失败。

（过去 7-8 天我一直在努力解决这个问题，但没有成功。默认 CDH 配置设置也失败了）我尝试通过更改 HDFS 和 YARN 配置的大量组合来运行测试套件。（包括 JAVA_OPTS / MAVEN_OPTS ）等

我在想，如果有一个设置/应用程序或可以为给定集群设置生成所有理想配置文件的东西，这对用户来说会非常有用/容易。（考虑 RAM/CPU 等）即它将需要信息。来自用户，例如有多少个节点、每个节点的 RAM、每个节点的 CPU 等，并生成纱线、hdfs 配置参数。

【问题讨论】：

【解决方案1】：

我们遇到了同样的问题，结果发现 NFS 很慢。从 NFS 切换到本地文件系统减少了 OOM 错误。

【讨论】：