如何在 spark scala 或 pyspark 中清理 JVM 堆内存答案

【问题标题】：How to clean JVM heap memory in spark scala or pyspark如何在 spark scala 或 pyspark 中清理 JVM 堆内存
【发布时间】：2018-02-24 23:58:53
【问题描述】：

如何在 spark scala 流应用程序中清理我的 JVM 占用的内存。我正在运行时间间隔为 60 秒的流式传输作业。在那之后的前六个小时没有问题，我面临 JVM 堆内存问题。有什么方法可以通过编程方式在 spark scala 中清理我的 GC 或 JVM 内存。

在我的应用程序中，我正在使用 Dataframe，registertemptable 也在我的程序结束时将结果写入 HDFS。目前在我的应用程序 spark SQL 上下文级别中，我正在取消缓存，像这样我们可以释放内存的任何其他方式吗？

错误消息：线程“dag-scheduler-event-loop”中的异常 java.lang.outofmemoryError：Java 堆空间

谢谢

文卡特

【问题讨论】：

【解决方案1】：

我建议您查看应用程序中是否存在任何线程泄漏。您可以在执行程序日志附近的应用程序主控中查看线程转储。

尝试设置此参数。 --conf spark.cleaner.ttl=10000.

如果你正在使用缓存，我建议你在内存和磁盘中都使用 persist() 它

【讨论】：