1、安装python3
2、idea安装Python插件
3、下载spark，设置SPARK_HOME环境变量
4、安装pyspark，numpy
5、运行pyspark应用
pyspark应用如果使用到特定的接口，如kafka，则需要将kafka相关的jar包放到SPARK_HOME的jar文件夹里，不然会报找不到datasource的错
要本地调试hive，需要将hive配置文件放置到SPARK_HOME的conf目录下
6、运行报错可能跟spark库的版本有关系，如有必要可以删除不对的mvn本地仓库jar包
7、spark dataframe转pandas dataframe用toPandas()注意不要漏掉括号，与scala不一样。