【问题标题】:The system cannot find the path specified (Pyspark/Pycharm)系统找不到指定的路径(Pyspark/Pycharm)
【发布时间】:2021-03-14 15:06:54
【问题描述】:

我在从命令提示符或 Pycharm 执行 Pyspark 代码时遇到问题。我已经 pip 安装了 spark/Pyspark,但我仍然无法从任何终端访问 spark

错误:系统找不到指定的路径

环境变量已按要求设置,但问题仍然存在。

对于下面简单的 pyspark 代码,我从 pycharm 得到错误。

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('Session1').getOrCreate()
df = spark.read.csv("C:/Users/1875977/Desktop/clustering_mindset_jan.csv")
df.printSchema()

注意:安装的软件有 Anaconda(Python 3.7)、Windows OS、Hadoop Utils、Java 1.8

【问题讨论】:

    标签: python apache-spark pyspark pycharm environment-variables


    【解决方案1】:

    查看教程 [here]

    spark.read.load("C:/Users/1875977/Desktop/clustering_mindset_jan.csv",
                             format="csv")
    

    例子:

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-08-26
      • 1970-01-01
      • 1970-01-01
      • 2011-02-23
      • 2018-12-12
      相关资源
      最近更新 更多