Spark SQL(PySpark) - SparkSession 导入错误

【问题标题】：Spark SQL(PySpark) - SparkSession import ErrorSpark SQL(PySpark) - SparkSession 导入错误
【发布时间】：2018-11-26 23:59:11
【问题描述】：

我正在尝试使用 Spark-Submit 执行简单的 Spark SQL 代码 (PySpark)，但收到以下错误。注意 - 我在 Spark 2.x 中运行它。

spark-submit HousePriceSolution.py

错误：

从 pyspark.sql 导入 SparkSession ImportError: 无法导入名称 SparkSession

代码：

 from pyspark.sql import SparkSession
 PRICE_SQ_FT = "Price SQ Ft"

 if __name__ == "__main__":

  session = SparkSession.builder.appName("HousePriceSolution").getOrCreate()    
  realEstate = session.read \
  .option("header","true") \
  .option("inferSchema", value=True) \
  .csv("hdfs:............./RealEstate.csv")

  realEstate.groupBy("Location") \
  .avg(PRICE_SQ_FT) \
  .orderBy("avg(Price SQ FT)") \
  .show()
  session.stop()

【问题讨论】：

标签： apache-spark pyspark apache-spark-sql

【解决方案1】：

spark-submit 可能指向另一个版本的 spark。使用以下命令检查 spark-submit 使用的 spark 版本：

spark-submit --version

如果 spark-version 没问题，那么检查 PYTHONPATH 包含的内容 (echo $PYTHONPATH)，因为 PYTHONPATH 有可能来自另一个版本的 spark 的 pyspark 库。如果PYTHONPATH 不包含 pyspark 库，则添加如下：

export PYTHONPATH=$PYTHONPATH:"$SPARK_HOME/python/lib/*"

【讨论】：