【发布时间】:2018-09-23 01:50:45
【问题描述】:
我在 Zeppelin 中担任口译员时有火花。 我用的是Spark2.0,我建了一个Session:创建
【问题讨论】:
-
有什么问题?
标签: apache-spark apache-zeppelin
我在 Zeppelin 中担任口译员时有火花。 我用的是Spark2.0,我建了一个Session:创建
【问题讨论】:
标签: apache-spark apache-zeppelin
一般来说,你不应该在 Zeppelin 中初始化 SparkSession 或 SparkContext。 Zeppelin 笔记本配置为为您创建会话,它们的正确行为取决于使用提供的对象。
初始化 SparkSession 会破坏 Zeppelin 的核心功能,在最坏的情况下,多个 SparkContexts 会完全破坏一切。
设置 spark.driver.allowMultipleContexts 为 False 最好做个测试?
你不应该使用spark.driver.allowMultipleContexts - 它不受支持,也不保证正确的结果。
【讨论】: