停止前一个 SparkSession 后无法使用新的 SparkSession

Question

我创建了一个 SparkSession（使用 enabledHiveSupport()）并在本地运行。 我想在一个 SparkSession 中执行一组 sql，停止它并启动另一个。

但是当我停止 SparkSession 并使用 SparkSession.builder() 获取新的 SparkSession 时，我得到了一个新的 SparkSession 对象，但 sql 失败并显示“另一个 Derby 实例可能已经启动了数据库..”

由于每个 JVM 只能有一个 SparkContext，这是否意味着我无法获取或创建 SparkSession，停止并重复？

有什么方法可以每次在新会话中执行一组 sql？ （我知道有 SparkSession.newSession，但我也无法停止该会话，因为底层共享 SparkContext 将停止，对吗？）

Answer 1

您好，您可以按照官方文档使用 SparkSession.newSession 原因

SparkSession： 使用隔离的 SQL 配置启动新会话，临时表、注册函数是隔离的，但共享底层 SparkContext 和缓存数据。

Note
    Other than the SparkContext,all shared state is initialized lazily. This method will 
    force the initialization of the shared state to ensure that parent and child sessions 
    are set up with the same shared state. If the underlying catalog implementation is 
    Hive, this will initialize the metastore, which may take some time.

如何使用多个 spark 会话的示例代码

object WorkimngWithNewSession {
  def main(args: Array[String]): Unit = {

    // creating a new session
    val spark = SparkSession
                .builder()
                .appName("understanding session")
                .master("local[*]")
                .getOrCreate()

    import spark.implicits._
    val df = Seq("name","apple").toDF()

    df.createOrReplaceTempView("testTable") // do not call this in case of multiple spark session and if u are using this view in all of them.
    df.createOrReplaceGlobalTempView("testTable") // call this for multiple spark session

    spark.sql("SELECT * FROM testTable").show()
    // spark.stop()  // do not call this as it will stop sparkContext

    val newSpark = spark.newSession()
    newSpark.sql("SELECT * FROM global_temp.testTable").show() // call global view by using global_temp


    spark.stop() // if u want u can call this line in the end to close all spark session
  }
}