0.pyspark的windows7环境搭建

参考pyspark的windows7环境搭建,搭建windows7的环境

1.安装Maven,配置环境变量

Maven入门

(1).从Maven官网下载地址下载zip格式的软件包apache-maven-3.5.4-bin.zip

将压缩包解压到D盘某目录下即可(D:\Maven\apache-maven-3.5.4)。

pyspark的intellij idea 环境搭建

(2).配置环境变量

设置MAVEN_HOME变量:新建系统变量,变量名输入:MAVEN_HOME,变量值输入:D:\Maven\apache-maven-3.5.4

设置Path变量,找到Path变量,点击编辑,变量值输入: %MAVEN_HOME%\bin;

2.安装python组件

Settings->Plugins->搜索python

pyspark的intellij idea 环境搭建

3.新建Python工程

Create New Project->Python

pyspark的intellij idea 环境搭建
4.配置环境
run->Edit Configurations->Templates->Python,在右侧找到Environment->Environment Variables

pyspark的intellij idea 环境搭建

添加两个环境变量:

变量名:PYTHONPATH,变量值:C:\spark\spark-2.1.0-bin-hadoop2.7\python
变量名:SPARK_HOME,变量值: C:\spark\spark-2.1.0-bin-hadoop2.7

pyspark的intellij idea 环境搭建

5.关联源码

file->project structure->modules,点击最右侧加号: 

pyspark的intellij idea 环境搭建

选择第一个JARs or directories,找到PYTHONPATH下的lib文件夹,C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib,直接添加进来即可,弹出的窗口选择Jar Directory

pyspark的intellij idea 环境搭建

至此便可以用intellij idea运行测试pyspark程序了。

相关文章: