【问题标题】:Submit Spark job through "spark-on-k8s-operator" from inside a different pod通过“spark-on-k8s-operator”从不同的 pod 内提交 Spark 作业
【发布时间】:2019-11-21 20:51:34
【问题描述】:

按照this 指南,我在我的 Kubernetes 集群中部署了一个“spark-on-k8s”算子。

在指南中,它提到了如何使用 kubectl 命令部署 Spark 应用程序。

我的问题是是否可以从不同的 pod 内部部署 Spark 应用程序而不是 kubectl 命令? 比如说,来自一些数据管道应用程序,例如 Apache NiFi 或 Streamsets。

【问题讨论】:

    标签: apache-spark kubernetes kubernetes-pod


    【解决方案1】:

    是的,您可以从另一个 pod 中创建 pod。

    您所需要的只是创建一个具有适当 RoleServiceAcount,这将允许创建 pod 并将其分配给 pod,这样您就可以使用 rest 对 kubernetes api 服务器进行身份验证api 或 k8s 客户端库之一来创建您的 pod。

    阅读更多如何使用kubernetes api 在 Kubernetes 文档中。

    另请阅读here,了解如何创建角色。

    并查看here 以获取 k8s 客户端库列表。

    如果有帮助请告诉我。

    【讨论】:

    • 谢谢。让它与以下命令一起工作:curl --cacert "${CACERT}" -H "Authorization: Bearer ${TOKEN}" -H "Content-Type: application/json" -H "Accept: application/json, */*" PUT -d "$(cat spark-job.json)" "${APISERVER}/apis/sparkoperator.k8s.io/v1beta2/namespaces/$NAMESPACE/sparkapplications/"
    • @toerq 你能指出我对上述 REST 端点的一些引用吗?我有一个完全相同的要求。
    猜你喜欢
    • 2015-09-25
    • 1970-01-01
    • 1970-01-01
    • 2020-11-17
    • 2017-08-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-08-19
    相关资源
    最近更新 更多