【问题标题】:Build a SparkSession构建一个 SparkSession
【发布时间】:2018-09-23 01:50:45
【问题描述】:

我在 Zeppelin 中担任口译员时有火花。 我用的是Spark2.0,我建了一个Session:创建

【问题讨论】:

  • 有什么问题?

标签: apache-spark apache-zeppelin


【解决方案1】:

一般来说,你不应该在 Zeppelin 中初始化 SparkSessionSparkContext。 Zeppelin 笔记本配置为为您创建会话,它们的正确行为取决于使用提供的对象。

初始化 SparkSession 会破坏 Zeppelin 的核心功能,在最坏的情况下,多个 SparkContexts 会完全破坏一切。

设置 spark.driver.allowMultipleContexts 为 False 最好做个测试?

你不应该使用spark.driver.allowMultipleContexts - 它不受支持,也不保证正确的结果。

【讨论】:

    猜你喜欢
    • 2017-09-26
    • 1970-01-01
    • 2022-01-23
    • 2017-02-08
    • 1970-01-01
    • 1970-01-01
    • 2018-11-09
    • 2016-01-30
    • 2019-05-21
    相关资源
    最近更新 更多