JVM 崩溃时覆盖的 GC 日志答案

【问题标题】：GC Logs Overwritten when JVM CrashesJVM 崩溃时覆盖的 GC 日志
【发布时间】：2019-02-12 23:33:01
【问题描述】：

我正在为 G1GC 调整我们的产品，作为测试的一部分，我的 Spark Worker 经常遇到段错误，这当然会导致 JVM 崩溃。发生这种情况时，Spark Worker/Executor JVM 会自动重启，然后覆盖为之前的 Executor JVM 编写的 GC 日志。

老实说，我不太确定 Executor JVM 如何自行重启的机制，但我通过 init.d 启动了 Spark Driver 服务，这反过来又调用了一个 bash 脚本。我确实在该脚本中使用了一个时间戳，该时间戳被附加到 GC 日志文件名：

today=$(date +%Y%m%dT%H%M%S%3N)

SPARK_HEAP_DUMP="-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=${SPARK_LOG_HOME}/heapdump_$$_${today}.hprof"
SPARK_GC_LOGS="-Xloggc:${SPARK_LOG_HOME}/gc_${today}.log -XX:LogFile=${SPARK_LOG_HOME}/safepoint_${today}.log"

GC_OPTS="-XX:+UnlockDiagnosticVMOptions -XX:+LogVMOutput -XX:+PrintFlagsFinal -XX:+PrintJNIGCStalls -XX:+PrintTLAB -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=15 -XX:GCLogFileSize=48M -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime -XX:+PrintAdaptiveSizePolicy -XX:+PrintHeapAtGC -XX:+PrintGCCause -XX:+PrintReferenceGC -XX:+PrintSafepointStatistics -XX:PrintSafepointStatisticsCount=1"

我认为问题是这个脚本将这些选项发送到 Spark Driver，然后将它们传递给 Spark Executors（通过 -Dspark.executor.extraJavaOptions 参数），它们都是独立的服务器，当 Executor JVM 崩溃时，它只是使用最初发送的命令来启动备份，这意味着 GC 日志文件名的时间戳部分是静态的：

SPARK_STANDALONE_OPTS=`property ${SPARK_APP_CONFIG}/spark.properties "spark-standalone.extra.args"`
SPARK_STANDALONE_OPTS="$SPARK_STANDALONE_OPTS $GC_OPTS $SPARK_GC_LOGS $SPARK_HEAP_DUMP"

exec java ${SPARK_APP_HEAP_DUMP} ${GC_OPTS} ${SPARK_APP_GC_LOGS} \
    ${DRIVER_JAVA_OPTIONS} \
    -Dspark.executor.memory=${EXECUTOR_MEMORY} \
    -Dspark.executor.extraJavaOptions="${SPARK_STANDALONE_OPTS}" \
    -classpath ${CLASSPATH} \
    com.company.spark.Main >> ${SPARK_APP_LOGDIR}/${SPARK_APP_LOGFILE} 2>&1 &

这让我很难调试段错误的原因，因为我失去了导致 JVM 崩溃的 Workers 的活动和状态。关于如何处理这种情况并将 GC 日志保留在 Worker 上的任何想法，即使在 JVM 崩溃/段错误之后也是如此？

【问题讨论】：

标签： java apache-spark garbage-collection g1gc

【解决方案1】：

如果您使用的是 Java 8 及更高版本，您可以考虑通过在日志文件名中添加 %p 来引入每次崩溃时唯一的 PID。

【讨论】：

这会遇到与我在 gc 日志名称中输入的日期相同的问题：一旦到达执行程序，它基本上是静态的