【发布时间】:2017-04-11 19:20:12
【问题描述】:
I cannot import SparkSession from pyspark.sql,but i can import Row
我的 spark-1.6.0-bin-hadoop2.6 安装在 docker 容器中,系统是 centos
如何解决这个问题?这个问题困扰了我很久
【问题讨论】:
标签: python hadoop apache-spark pyspark bigdata
I cannot import SparkSession from pyspark.sql,but i can import Row
我的 spark-1.6.0-bin-hadoop2.6 安装在 docker 容器中,系统是 centos
如何解决这个问题?这个问题困扰了我很久
【问题讨论】:
标签: python hadoop apache-spark pyspark bigdata
您不能使用它,因为它不存在,您使用的 Spark 版本是 1.6,而 SparkSession 是在 2.0.0 中引入的。
你可以在这里看到:https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html
您可以从这里下载 Spark 2.0.0:http://spark.apache.org/downloads.html
【讨论】: