使用 Java api 调用 Kubernetes Spark Operator答案

【问题标题】：Calling Kubernetes Spark Operator with Java api使用 Java api 调用 Kubernetes Spark Operator
【发布时间】：2020-09-22 15:23:21
【问题描述】：

有很多使用 Kubernetes Spark Operator 创建 Spark 作业并简单地使用以下内容提交请求的示例

kubectl apply -f spark-pi.yaml

可以在here 找到 spark-pi.yaml 的位置

有谁知道使用 Java K8s api 提交此类作业的最简单方法？

【问题讨论】：

【解决方案1】：

我建议查看 Apache Spark 在 K8s 中使用的Fabric8 K8s client 或官方的Java K8s client。通过这些库，您可以使用代码提交 K8s 资源。

【讨论】：

谢谢，我确实使用 Fabric 客户端找到了 example。我无法使用 java 客户端找到相同的内容，但确实找到了。我使用了 CustomObjectsApi.createNamespacedCustomObject() 方法。

【解决方案2】：

我已经编写了一个应用程序来向 Kubernetes 提交 Spark 作业，您需要传递的只是 Config Map（应用程序的键值对）

你可以在 github 下找到相同的类 RunSparkJobInKube(jobConfiguration: Map[String,String])

这可能会帮助您为您的需求提供一个想法。

虽然这是 scala，但您可以在 java 内部调用正常方法。

如果您对安全性感兴趣，我已在此应用中与 IAM（特定于 aws）集成。

【讨论】：