环境搭建
- spark版本：2.3.3
- jdk版本：1.8
- maven版本：3.3.9
- 开发工具：idea
- scala版本：2.11.8
视频地址：https://www.bilibili.com/video/av72037856
欢迎点赞
1. 下载源码
下载与服务器上的spark版本相同的源码，地址：https://github.com/apache/spark
2. 解压后使用maven进行预编译
参考spark官网说明：http://spark.apache.org/docs/2.3.3/building-spark.html
1. 设置参与编译时maven的内存资源
根据自己的电脑设置一下内存
export MAVEN_OPTS="-Xmx4g -XX:ReservedCodeCacheSize=1024m"
2. 使用gitbash进行预编译
一定要使用gitbash进行预编译
-T指参与编译的线程数量
./build/mvn -T 6 -DskipTests clean package
根据电脑配置，编译的时间长短不同，反正时间肯定不会短是真的
3. 使用IDEA导入源码
open -> 选中源码根目录的pox.xml文件-> 选择open as project进行导入
4. 刷新maven
到这里源码就已经导入成功了