Zeppelin 解释器内存 - 驱动程序内存答案

【问题标题】：Zeppelin Interpreter Memory - driver memoryZeppelin 解释器内存 - 驱动程序内存
【发布时间】：2017-04-25 20:07:00
【问题描述】：

我没有成功尝试为我的 spark 解释器增加驱动程序内存。我只是在解释器设置中设置了 spark.driver.memory，一开始一切看起来都很棒。但是在zeppelin运行的docker容器中有

齐柏林飞艇 0.6.2 星火2.0.1

2:06 /usr/lib/jvm/java-8-openjdk-amd64/bin/java -cp /usr/zeppelin/int.....-2.7.2/share/hadoop/tools/lib/ * -Xmx1g ..... --class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer /usr/zeppelin/interpreter/spark/zeppelin-spark_2.11-0.6.2.jar 42651

一种破坏一切的最大堆设置。我的主要问题是我正在尝试运行 mllib 的潜在 Dirchilet 分配，它总是内存不足，只是在驱动程序上死机。 docker 容器现在有 26g 内存，应该足够了。 Zeppelin 本身的 1g 内存应该没问题。但火花驱动器只需要更多。

我的 Executor 进程有 RAM，但驱动程序在 UI 中报告为

Executor ID Address Status RDD Blocks Storage Memory Disk Used Cores Active Tasks Failed Tasks Complete Tasks Total Tasks Task Time (GC Time) Input Shuffle Read Shuffle Write Thread Dump 驱动程序 172.17.0.6:40439 活动 0 0.0 B / 404.7 MB 0.0 B 20 0 0 1 1 1.4 s (0 ms) 0.0 B 0.0 B 0.0 B 线程转储

相当糟糕

设置 ZEPPELIN_INTP_MEM='-Xms512m -Xmx12g' 似乎没有任何改变。我虽然 zeppelin-env.sh 没有正确加载，所以我直接在 docker create -e ZE... 中传递了这个变量，但这并没有改变任何东西。

SPARK_HOME 已设置并连接到独立的 spark 集群。但这部分有效。只有驱动程序内存不足。

但我尝试使用 8g 驱动程序内存和 6g 执行程序启动一个本地 [*] 进程，但同样是 450mb 驱动程序内存。

解释器报告 Java 堆内存不足错误，该错误导致 LDAModel 训练停止。

【问题讨论】：

您可以尝试在zeppelin-env.sh 中将MaxPermSize 选项添加到ZEPPELIN_INTP_MEM，就像ZEPPELIN_INTP_MEM="-Xms1024m -Xmx12g -XX:MaxPermSize=12g" 一样吗？

标签： apache-spark-mllib apache-zeppelin

【解决方案1】：

刚刚在搜索中遇到了这个，同时遇到了完全相同的问题！希望您现在已经找到了解决方案，但以防万一其他人遇到此问题并正在寻找像我这样的解决方案，问题如下：

您在此处查看的进程不被 Zeppelin 视为解释器进程，它实际上是 Spark Driver 进程。这意味着它设置的选项与ZEPPELIN_INTP_MEM 变量不同。将此添加到您的zeppelin-env.sh：

export SPARK_SUBMIT_OPTIONS="--driver-memory 12G"

重新启动 Zeppelin，一切就绪！（经过测试并适用于最新的 0.7.3，假设它适用于早期版本）。

【讨论】：

【解决方案2】：

https://issues.apache.org/jira/browse/ZEPPELIN-1263 修复此问题。之后，您可以使用任何标准火花配置。例如您可以通过在 spark 解释器设置中设置 spark.driver.memory 来指定驱动程序内存。

【讨论】：