为什么 spark-shell 不启动 SQL 上下文？

Question

我使用 spark-2.0.2-bin-hadoop2.7 并正在设置 Spark 环境。我已经完成了大部分安装和配置的步骤，但最后我发现了与在线教程不同的地方。

日志缺少这一行：

可作为 sqlContext 使用的 SQL 上下文。

当我运行 spark-shell 时，它只是启动 Spark 上下文。为什么 SQL 上下文没有启动？

正常情况下，下面两行代码应该同时运行吗？

Spark context available as sc
SQL context available as sqlContext.

Answer 1

从 Spark 2.0 开始改用 SparkSession（因为 SQL Context/sqlContext 被“重命名”为 SparkSession/spark）。

当你运行 spark-shell 时，你会得到这个 spark 会话的引用为spark。您应该看到以下内容：

Spark 会话可用作“spark”。

如果您想访问底层 SQL 上下文，您可以执行以下操作：

spark.sqlContext

请不要，因为它不再需要，并且大多数操作可以在没有它的情况下执行。