通过 Spark Operator 执行 Spark/Java 应用程序的 Dockerfile答案

【问题标题】：Dockerfile for Spark/Java application to execute via Spark Operator通过 Spark Operator 执行 Spark/Java 应用程序的 Dockerfile
【发布时间】：2021-06-07 21:03:50
【问题描述】：

我正在尝试使用 spark-operator 在 kubernetese（通过 minikube）上运行 spark/java 应用程序。我有点困惑我应该在 Dockerfile 中放置什么以便它可以以图像格式构建并通过 spark-operator 执行？

spark-operator.yaml 示例：

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: my-spark-app
  namespace: default
spec:
  type: Java
  mode: cluster
  image: docker/repo/my-spark-app-image
  mainApplicationFile: local:///opt/app/my-spark-app.jar

如上所述，spark 运算符 yaml 只需要 jar 和图像位置。那么，我是否需要在我的 Dockerfile 中提及以下内容？是否有任何可用的示例 Dockerfile 可供我参考？

Dockerfile：

FROM openjdk11:alpine-jre

COPY target/*.jar /opt/app/csp_auxdb_refresh.jar
COPY src/main/resources/*  opt/app

【问题讨论】：

标签： java docker apache-spark google-spark-operator

【解决方案1】：

在你提供的Dockerfile中，也没有安装Spark，也没有安装其他依赖。要快速开始，请使用gcr.io/spark-operator/spark:v3.1.1 作为映像的基础，即将FROM 语句更改为FROM gcr.io/spark-operator/spark:v3.1.1 并重新构建。

在他们的 Github 存储库 (here) 中有关于如何开始使用 spark-operator 的精彩指南。

【讨论】：