【问题标题】:Is there a way to get SparkSession Id of the current Spark Session?有没有办法获取当前 Spark Session 的 SparkSession Id?
【发布时间】:2019-10-11 14:26:36
【问题描述】:

我有一个由 spark-shell 创建的 Spark 会话和另一个由我的代码创建的 Spark 会话。(通过传递给 spark-shell 的 jar 导入)

有没有办法比较两个 Spark Session 的 session id?

我知道我们可以通过 spark.SparkContext.applicationId 获取 applicationId。

sessionid 和 applicationId 一样吗?我认为 applicationId 与 spark 作业相关联。(作业的唯一标识符)

有什么方法可以获得 Spark Session id?

【问题讨论】:

    标签: apache-spark spark-shell


    【解决方案1】:

    你可以试试这个。我找不到任何获取 sparksession id 的方法,但您可以比较 spark session 你可以参考这个

    https://www.waitingforcode.com/apache-spark-sql/multiple-sparksession-one-sparkcontext/read

    【讨论】:

      猜你喜欢
      • 2016-03-16
      • 2015-05-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多