spark源码本地调试

1、前提条件：

    1）安装jdk

        版本：

    2）安装scala

        版本：

    3）安装sbt

            版本：

    4）安装maven

        

    5）安装git

        版本：

    6）安装idea，并配置好sbt、git、maven

 

2、从github上下载源码spark-master.zip文件，并解压

 

3、编译：

windows命令窗口，cd /d  E:\work\architure\spark\spark-master\spark-master 进入spark源码目录

>mvn -DskipTests clean package

该方法总是会报错，编译不成功

 

 

在网上找到解决方法：

mvn clean -Dmaven.clean.failOnError=false

就可以build了

 

4.在idea中导入源码

目录如下

 

本地执行：

Run->Edit Configurations

这样LogQuery类就在执行窗口