如何使用 Gradle 构建 Apache Spark？

Question

我正在尝试在 Eclipse 中用 Java 构建一个 Apache Spark 应用程序。我使用 Gradle 作为我的构建管理系统。我应该在我的build.gradle 中写什么以及我应该使用哪些 gradle 命令来执行与此 Maven POM 和终端命令相同的操作？

<project>
  <groupId>edu.berkeley</groupId>
  <artifactId>simple-project</artifactId>
  <modelVersion>4.0.0</modelVersion>
  <name>Simple Project</name>
  <packaging>jar</packaging>
  <version>1.0</version>
  <dependencies>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.1</version>
    </dependency>
  </dependencies>
</project>

和

mvn package

$ YOUR_SPARK_HOME/bin/spark-submit \
--class "SimpleApp" \
--master local[4] \
target/simple-project-1.0.jar

Answer 1

试试这个。如果是Java项目，可以去掉第一行：

apply plugin: 'scala'

buildscript {
    repositories {
        mavenCentral()
    }
}

repositories {
    mavenLocal()
    mavenCentral()
}

dependencies{
    compile "org.apache.spark:spark-core_2.10:1.6.1"
}