【问题标题】:Zeppelin configuration: is there a cache somewhere?Zeppelin 配置:某处是否有缓存?
【发布时间】:2016-09-29 19:32:20
【问题描述】:

Zeppelin 读取解释器特定配置的方式似乎遗漏了一些东西。

例如,我在zeppelin-env.sh 中将spark.cores.max 设置为12,在$SPARK_HOME/conf 中将spark-defaults.sh 设置为12,但启动Spark 解释器会启动一个只有4 个内核的Spark 应用程序。

然后我在 Zeppelin 的解释器 UI 中更改了该属性,并且它起作用了。

  • 使用存储的 UI(网页)设置的属性在哪里?
  • 该 UI 是否应该与 zeppelin-env.shzeppelin-site.xml“同步”?

【问题讨论】:

  • UI 未与您提到的文件同步。那么你是否停止了守护进程,运行bash zeppelin-env.sh 并重新启动 ot ?
  • 是的。我假设用户界面在某处保存了一些东西?即使重新启动守护程序后也有持久性,对吧?

标签: apache-zeppelin


【解决方案1】:

这里有一个层次结构:

  • UI(解释器)中的参数优先于zeppelin-env.sh 中指定的参数;
  • zeppelin-env.sh 中配置的参数优先于spark-defaults.sh 中指定的参数;并且,
  • 如果使用上述内容未指定任何内容,则配置参数回退到spark-defaults.sh 中指定的参数。

这里有一个重要的二元性,关于人们对任何 spark 应用程序的期望:

  • 在应用程序中显式设置的配置参数优先于使用spark-submit 指定的配置参数;
  • spark-submit 指定的参数优先于spark-defaults.sh 指定的参数;并且,
  • 如果使用上述内容未指定任何内容,则配置参数回退到spark-defaults.sh 中指定的参数。

因此,您所观察到的结果是意料之中的,尽管我也觉得它令人困惑(并且在任何地方都没有特别好的记录)。

【讨论】:

  • 这听起来很清楚。 UI(解释器)的参数保存/存储在哪里?
  • 试试conf/interpreter.json
  • Rhaaaaa。最后 :) 宇宙再次变得有意义!
  • 至少在接下来的 30 年代 :-)
  • 只是一个小的跟进,因为 zeppelin 配置让我有一段时间搞砸了。如果有人更改了zeppelin-env.sh 中的配置参数,只需重新启动 Zeppelin 服务器就不会导致任何更改。为了实现这一点,您可以安全地删除旧的interpreter.json 文件,并使用新配置的新文件取而代之。我不想从 UI 进行更改,因为我想在启动之前为 zeppelin 服务分配特定资源。最后,这不会影响您的笔记本,因为它们被放置在另一个目录中。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-06-02
  • 2013-08-25
  • 1970-01-01
  • 2013-05-22
  • 1970-01-01
  • 1970-01-01
  • 2011-09-28
相关资源
最近更新 更多