上传jar包到集群

我们的项目是父子工程,jar包都是互相依赖的

所以单独打某个jar是不行的,我们将xml加入到想运行的子工程内

<build>
    <plugins>
        <!--  把依赖jar中的用到的类，提取到自己的jar中 -->
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.6</version>
            <configuration>
                <archive>
                    <manifest>
                        <mainClass></mainClass>
                    </manifest>
                </archive>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <!--下面是为了使用 mvn package命令，如果不加则使用mvn assembly-->
            <executions>
                <execution>
                    <id>make-assemble</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

点击maven 上传jar包到集群

点击install 上传jar包到集群

其中

<!--<scope>provided</scope>-->加在spark或者scala中,打jar包的时候不会打spark和scala的配置,

</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>${spark.version}</version>
    <!--<scope>provided</scope>-->
</dependency>