Zeppelin UI OOM

Question

我在 zeppelin 中有一项繁重的任务，因此当我多次运行该段落时，Zeppelin /jobs 状态页面将返回带有 OOM 的 HTTP 500 错误。

这可能是什么原因？

我正在用纱线上的火花运行客户端模式。

Answer 1

Zeppelin 的 spark 解释器出现 OOM 的原因可能有很多。一种可能的原因是

• Spark 解释器中的 Scala REPl 将所有评估值（变量、匿名函数等）保存在内存中 (SI-4331)

scala> case class A()
defined class A

scala> new A() 
res0: A = A()
scala> new A() 
res1: A = A()

scala> List(1, 2, 3, 4).map(x => x+1) // anonymous function

您可以通过在$SPARK_HOME/conf/spark-defaults.conf 中为 spark 设置 spark.driver.memory 来增加驱动程序内存

• 如果是本地spark，可以在解释器选项页面设置相同的选项（localhost:8080/#/interpreter,spark interpreter configuration）
• 如果您在 Zeppelin 中使用 crontab，则可以使用 auto-restart interpreter on cron execution。