如何增加 Spark Amazon EC2 集群上的 Java 堆空间？答案

【问题标题】：How to increase Java heap space on Spark Amazon EC2 cluster?如何增加 Spark Amazon EC2 集群上的 Java 堆空间？
【发布时间】：2015-07-06 06:55:04
【问题描述】：

我使用 Java Spark API 编写了一个程序。鉴于我的数据很大，我收到以下错误

java.lang.OutOfMemoryError: Java 堆空间

知道如何在 Aws 上增加 Spark EC2 集群的 Java 堆空间吗？如有必要，我可以提供有关我的代码和集群设置的详细信息。谢谢。

【问题讨论】：

您可以发布该问题的错误日志吗？它将帮助其他人更好地了解问题。
Exception in thread "pool-2-thread-3" java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:331) at org.apache.spark.network.Message$.create(Message.scala:88) at org.apache.spark.network.ReceivingConnection$Inbox.org$apache$spark$network$ReceivingConnection$Inbox$$createNewMessage$1(Connection.scala:438) ....10 more lines ....

标签： java amazon-web-services amazon-ec2 apache-spark heap-memory

【解决方案1】：

在将应用程序 jar 提交到 spark-submit 时，我能够通过添加两个标志来增加堆空间。

--executor-memory 10g --driver-memory 2g

【讨论】：