【问题标题】:Do i need to have Spark on all worker machines to run spark-submit and run a spark job on a k8s cluster within the same worker machines?我是否需要在所有工作机器上安装 Spark 才能运行 spark-submit 并在同一工作机器内的 k8s 集群上运行 spark 作业?
【发布时间】:2020-05-14 04:35:50
【问题描述】:

我有一个 k8s 集群。现在我想在 k8s 集群上部署一个 spark 作业,我想知道是否需要在所有工作机器上安装和配置 spark。

【问题讨论】:

    标签: apache-spark kubernetes spark-submit


    【解决方案1】:

    据我了解,这取决于您将使用哪种模式。

    您可以使用Cluster Mode 启动 Spark Pi。

    $ ./bin/spark-submit \
        --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
        --deploy-mode cluster \
        --name spark-pi \
        --class org.apache.spark.examples.SparkPi \
        --conf spark.executor.instances=5 \
        --conf spark.kubernetes.container.image=<spark-image> \
        local:///path/to/examples.jar
    
    

    通过将--master 命令行参数传递给spark-submit 或通过在应用程序配置中设置spark.master 来指定的Spark 主服务器必须是格式为k8s://&lt;api_server_host&gt;:&lt;k8s-apiserver-port&gt; 的URL。必须始终指定端口,即使它是 HTTPS 端口 443。使用 k8s:// 前缀的主字符串将导致 Spark 应用程序在 Kubernetes 集群上启动,并通过 api_server_url 联系 API 服务器。如果 URL 中没有指定 HTTP 协议,则默认为 https。例如,将 master 设置为 k8s://example.com:443 等效于将其设置为 k8s://https://example.com:443,但要在其他端口上不使用 TLS 进行连接,master 将设置为 k8s://http://example.com:8080。

    在 Kubernetes 模式下,默认使用由 spark.app.name 或 spark-submit 的 --name 参数指定的 Spark 应用程序名称来命名创建的 Kubernetes 资源,如驱动程序和执行程序。因此,应用程序名称必须由小写字母数字字符- 和. 组成,并且必须以字母数字字符开头和结尾。

    您也可以设置Client Mode

    从 Spark 2.4.0 开始,可以在 Kubernetes 上以客户端模式运行 Spark 应用程序。当您的应用程序以客户端模式运行时,驱动程序可以在 pod 内或物理主机上运行。在客户端模式下运行应用程序时,建议考虑以下因素:

    客户端模式网络

    Spark 执行器必须能够通过主机名和可从 Spark 执行器路由的端口连接到 Spark 驱动程序。 Spark 在客户端模式下工作所需的特定网络配置因设置而异。如果您在 Kubernetes pod 中运行驱动程序,则可以使用 headless service 来允许您的驱动程序 pod 可以通过稳定的主机名从执行程序路由。部署无头服务时,确保服务的标签选择器仅匹配驱动程序 pod,不匹配其他 pod;建议为您的驱动程序 pod 分配一个足够独特的标签,并在无头服务的标签选择器中使用该标签。通过spark.driver.host 指定驱动程序的主机名,将火花驱动程序的端口指定为spark.driver.port。 ...

    有关在 Kubernetes 上运行 Spark 的完整文档可在 here 获取。

    Gigaspaces 也对Running a Spark Job in Kubernetes 给出了很好的解释

    【讨论】:

      猜你喜欢
      • 2016-07-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-05-30
      • 2015-04-25
      • 1970-01-01
      • 2018-08-23
      • 2017-11-20
      相关资源
      最近更新 更多