PySpark 中的 SparkSession 和 SparkContext 启动答案

【问题标题】：SparkSession and SparkContext initiation in PySparkPySpark 中的 SparkSession 和 SparkContext 启动
【发布时间】：2020-08-11 16:53:48
【问题描述】：

我想知道 Scala 中以下代码的 PySpark 等价物。我正在使用数据块。我需要与以下相同的输出：-

创建新的 Spark 会话并输出会话 id (SparkSession@123d0e8)

val new_spark = spark.newSession()

**Output** 
new_spark: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@123d0e8

查看 SparkContext 并输出 SparkContext id (SparkContext@2dsdas33)

new_spark.sparkContext
**Output** 
org.apache.spark.SparkContext = org.apache.spark.SparkContext@2dsdas33

【问题讨论】：

【解决方案1】：

非常相似。如果您已经有一个会话并想打开另一个会话，您可以使用

my_session = spark.newSession()

print(my_session)

这将产生我认为您正在尝试创建的新会话对象

<pyspark.sql.session.SparkSession object at 0x7fc3bae3f550>

spark 是一个已经在运行的会话对象，因为您使用的是 databricks 笔记本

【讨论】：

【解决方案2】：

>>> from pyspark.sql import SparkSession
>>> from pyspark.conf import SparkConf
>>> SparkSession.builder.config(conf=SparkConf())

或

>>> from pyspark.sql import SparkSession
>>> spark = SparkSession.builder.appName('FirstSparkApp').getOrCreate()

【讨论】：