Spark Sql 抛出 PermGen 空间错误答案

【问题标题】：Spark Sql is throwing PermGen Space ErrorSpark Sql 抛出 PermGen 空间错误
【发布时间】：2015-09-10 08:43:25
【问题描述】：

我已经配置了 3 节点 Spark 集群。并使用带有一些自定义属性的start-thriftserver.sh 脚本启动了 Spark Thrift 服务。并且还在集群的每个spark-default.sh文件中添加了spark.executor.extraJavaOptions -XX:MaxPermSize=1024m -XX:PermSize=256m属性。

使用 Hive JDBC 驱动程序，我能够连接 spark-sql，并尝试了一些查询。

但一段时间后它会抛出 PermGen Space 错误。并且在多次重启 thrift 服务后，它会抛出同样的错误。

【问题讨论】：

这个问题怎么重复？我已经尝试过使用大堆空间-XX:MaxPermSize=1024m -XX:PermSize=256m。如果是，那就写出能解决我的问题的解决方案。
我无法理解。没有任何正当理由，为什么人们会否决这个问题？

标签： apache-spark jvm apache-spark-sql permgen

【解决方案1】：

我终于找到了解决办法。

我查看了应用程序日志，Spark 驱动程序发生了 permgen 错误，所以我添加了带有 spark.driver.extraJavaOptions 选项的 -XX:MaxPermSize=1024m -XX:PermSize=256m 属性，而不是 spark.executor.extraJavaOptions 选项。

【讨论】：