Dataproc 对纱线使用 GC_OPTS="-XX:+UseConcMarkSweepGC" 吗？答案

【问题标题】：Dataproc use GC_OPTS="-XX:+UseConcMarkSweepGC" for yarn?Dataproc 对纱线使用 GC_OPTS="-XX:+UseConcMarkSweepGC" 吗？
【发布时间】：2019-03-09 19:10:05
【问题描述】：

使用 dataproc 时，我正在探索与 spark 和 yarn 相关的不同配置，我发现 dataproc 包含 GC_OPTS="-XX:+UseConcMarkSweepGC" 作为 yarn env 的一部分。配置。

GC_OPTS="-XX:+UseConcMarkSweepGC"
# Log GC details to stdout, these will be in diagnostic tarballs.
GC_LOGGING_OPTS="-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails"
export YARN_TIMELINESERVER_OPTS="${GC_OPTS} ${GC_LOGGING_OPTS} ${YARN_TIMELINESERVER_OPTS}

为了将垃圾收集器设置为 CMS 收集器而不是默认选项，是否对纱线性能有任何特定需求？

【问题讨论】：

标签： hadoop-yarn google-cloud-dataproc

【解决方案1】：

在某些内存使用率非常高的情况下，stop-the-world 垃圾回收可能会触发与 ResourceManager 或 NameNode 对话的守护进程超时。在重新配置为使用 CMS GC 之前，实际上在某些 Dataproc 集群中观察到了这种情况。

最佳选项可能会因工作负载的特征而异，但通常这种方法已在其他通用 Hadoop 指南中得到证实，例如 https://community.hortonworks.com/articles/14170/namenode-garbage-collection-configuration-best-pra.html

【讨论】：