【问题标题】:why cannot run pyspark in jupyter notebook ,mac os为什么不能在 jupyter notebook ,mac os 中运行 pyspark
【发布时间】:2019-10-26 11:20:26
【问题描述】:

我通过 brew download 下载了 apache pyspark,还尝试直接从 https://spark.apache.org/ 下载。但是下载后我尝试直接在终端中输入“pyspark”并解决了这个错误。 enter image description here

我还尝试了本手册中提供的所有步骤:https://medium.com/@GalarnykMichael/install-spark-on-mac-pyspark-453f395f240b。但是在 jupyter notebook 中运行 spark 也会报错,分别是:

enter image description here

【问题讨论】:

  • 根据我的经验,最简单的方法是通过 pip 安装 pyspark(即使在 anaconda 中)。这一直对我有用,非常方便

标签: macos apache-spark pyspark jupyter-notebook


【解决方案1】:

在您的屏幕截图中,错误位于第 14 行,您尚未导入 sparksession。 Sparksession 不是 pyspark 函数。

添加: 从 pyspark.sql 导入 SparkSession 对于您的代码,它可能会根据您的脚本给其他人,但会修复这个。 也请分享您的脚本。

【讨论】:

    猜你喜欢
    • 2018-12-23
    • 1970-01-01
    • 2018-09-26
    • 2015-03-07
    • 2020-07-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多