当我在 shell 中打开 PySpark 时，哪些代码已经运行？

Question

如果我想在 Jupyter Notebook 中运行 PySpark，我会

1) 在我的 Linux 终端中运行命令“Jupyter Notebook”，在我的 Google Chrome 浏览器中打开一个笔记本

2) 键入以下代码来初始化 PySpark

from pyspark import SparkContext
sc = SparkContext("local", "First App")

3) 运行sc.stop() 退出Spark Context

但是，如果我在终端中运行 PySpark，我只需要运行命令 pyspark，我可以跳过上面的步骤 #2。

我的问题：

A) 为什么在我的 Linux 终端中运行 PySpark 时不需要第 2 步？

B) 如果我在我的 Linux 终端中运行 PySpark，还有哪些其他代码已经运行或初始化？

Answer 1

默认情况下，PySpark shell 将 SparkContext 用作“sc”，因此无需再次创建 SparkContext。如果您的 spark 版本是 2.0 或更高版本，SparkSession 也可以作为 spark 使用。