Spark 应用程序：线程“主”java.lang.OutOfMemoryError 中的异常：无法创建新的本机线程答案

【问题标题】：Spark Application: Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native threadSpark 应用程序：线程“主”java.lang.OutOfMemoryError 中的异常：无法创建新的本机线程
【发布时间】：2018-04-11 14:27:57
【问题描述】：

我已经使用 Ambari 上可用的两个具有高 RAM 的 VM 设置了一个 spark 集群。此外，我在其他集群（HDInsights）中执行了相同的作业，并优化了执行器、驱动程序内存、vcore 设置。

但是，当我在这个新的虚拟机集群中运行作业时，我得到了

线程“主”java.lang.OutOfMemoryError 中的异常：无法创建新的本地线程

我已更改 ulimit -u 和 ulimit -n 参数并尝试执行作业。它没有帮助。如果有人对解决这些错误有更多想法，请告诉我。

【问题讨论】：

标签： apache-spark streaming pyspark-sql

【解决方案1】：

这通常是您通常使用 -Xmx 属性设置的 JVM 内存的问题。看起来这在 Spark 中是不允许的，您需要使用 spark.executor.memory 指定您的堆大小

【讨论】：