【发布时间】:2018-10-03 18:28:55
【问题描述】:
我正在尝试在 Windows 中安装 Pyspark。
我将 setx 应用于以下内容:
PYSPARK_DRIVER_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\Scripts\jupyter.exe"
HADOOP_HOME "C:\spark\hadoop"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"
PYSPARK_DRIVER_PYTHON_OPTS "notebook"
PYSPARK_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\python.exe"
SCALA_HOME "C:\spark\scala"
SPARK_HOME "C:\spark\spark"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"
在路径中的系统变量中,我附上了以下内容:
C:\Program Files\Java\jdk1.8.0_172\bin
C:\spark\spark\bin
C:\spark\spark\python
C:\spark\spark\python\lib
C:\spark\spark\python\pyspark
C:\spark\spark\python\pyspark\sql
C:\spark\spark\python\pyspark\mllib
C:\spark\spark\python\pyspark\ml
C:\spark\spark\python\lib
C:\spark\scala\bin
C:\Program Files\Java\jdk1.8.0_172\bin\java.exe
C:\Program Files\Java\jdk1.8.0_172\bin
我关注了tutorial。我正在运行 Anaconda python 版本 3.6、Apache Spark 2.3.2、Scala 2.12.7 msi 和 hadoop 2.7。
我在 cmd 行验证了 anaconda、python 和 java 版本。这可确保它正确链接到零件。当我在 cmd 提示符下运行 pyspark 时,我得到一个错误 \Anaconda3\envs\xgboost\python.exe] is unexpected at this time and the system can not find path specified。为了验证路径列表,我将其复制到地址中,以确认它进入正确的文件夹。在一些博客中,该解决方案建议在我已经完成的系统变量中添加其他路径,因此列出的路径比教程中显示的路径多。如何纠正这个错误?
【问题讨论】:
标签: python python-3.x apache-spark pyspark anaconda