Ozzie 在 kubernetes 上使用 Spark 2.3答案

【问题标题】：Ozzie with Spark 2.3 on kubernetesOzzie 在 kubernetes 上使用 Spark 2.3
【发布时间】：2018-05-13 00:56:07
【问题描述】：

想知道是否有人在 kubernetes 上使用 spark 2.3 尝试过 Oozie

我可以将 spark 2.3 放在 sharedlib 下，并在工作流 xml 中使用 k8smaster 作为 master 的 spark 操作吗？

【问题讨论】：

标签： kubernetes oozie oozie-coordinator

【解决方案1】：

Oozie 5.0.0 在 Kubenetes 上与 Spark 2.3 配合使用，您需要通过添加将 Spark-Kubernetes jar 添加到 sharelib 中

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-kubernetes_2.11</artifactId>
      <version>2.3.0</version>
      <scope>compile</scope>
    </dependency>

共享lib/spark/pom.xml

并使用命令构建支持 Spark 2.3 的 oozie 发行版

./bin/mkdistro.sh -DskipTests -Pspark-2 -Dspark.version=2.3.0
-Dspark.scala.binary.version=2.11 -Djackson.version=2.6.5

然后使用 Kubernetes URL 配置 Spark 操作：

    <spark xmlns="uri:oozie:spark-action:1.0">
        <job-tracker>${resourceManager}</job-tracker>
        <name-node>${nameNode}</name-node>
        <master>k8s://https://hostname</master>
        <mode>cluster</mode>
        <name>jobname</name>
        <jar>jarpath</jar>
        <spark-opts>sparkopts</spark-opts>
    </spark>

【讨论】：

我要试试这个：D