在 Apache Spark 中创建 sqlContext 时出错

Question

我正在使用 Apache Spark 并在 Ipython 笔记本上运行它。 我正在尝试将常规数据帧转换为 Spark DataFrame。为此，我需要 sqlContext。当我使用它时，我得到一个错误。

错误提示：

IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':"

我查找了多个资源，但无法解决此问题。

Answer 1

SQLContext 曾经是 Spark 1.x 中 SQL 功能的入口点；在 Spark 2 中，它已被 SparkSession (documentation) 取代。因此，这是在 2.2 版中初始化 Spark 的正确方法，根据您的屏幕截图，这是您正在使用的方法：

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
conf = SparkConf()
sc = SparkContext(conf=conf)
spark = SparkSession.builder.config(conf=conf).getOrCreate() 

有关更多使用示例，请参阅 Spark SQL 上的 documentation。