spark编译的坑并不多,最早编译时spark1.2的版本是2015年的事情了,现在spark迭代更新到2.3版本了,架构和功能变化可谓很多。于是今天重新编译下源码,记录下编译的过程。

本次编译过程是在win10版本,jdk版本为1.8,scala版本为2.11,maven版本为3.2.

1、首先git clone github的spark源码到本地。

https://github.com/apache/spark

然后直接输编译命令:

spark源码编译

编译的时候出现如下错误:

Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1

一般是maven的插件问题引起,网上一搜一堆解决方案。方法如下:

pom中如下配置maven插件,配置中声明使用JDK1.8:

spark源码编译

这里的${JAVA8_HOME}这个变量是在settings.xml中配置的,如下:

spark源码编译

 

当然这里应该需要激活,所以settings.xml文件还应该有如下配置:

 spark源码编译

同时maven的镜像源修改为阿里的镜像:

spark源码编译

然后重新编译, 编译成功,如图:

spark源码编译

 

相关文章:

  • 2021-07-31
  • 2021-06-08
  • 2022-12-23
  • 2021-09-07
  • 2022-12-23
  • 2021-10-19
猜你喜欢
  • 2021-07-29
  • 2021-09-16
相关资源
相似解决方案