【发布时间】:2020-05-14 04:35:50
【问题描述】:
我有一个 k8s 集群。现在我想在 k8s 集群上部署一个 spark 作业,我想知道是否需要在所有工作机器上安装和配置 spark。
【问题讨论】:
标签: apache-spark kubernetes spark-submit
我有一个 k8s 集群。现在我想在 k8s 集群上部署一个 spark 作业,我想知道是否需要在所有工作机器上安装和配置 spark。
【问题讨论】:
标签: apache-spark kubernetes spark-submit
据我了解,这取决于您将使用哪种模式。
您可以使用Cluster Mode 启动 Spark Pi。
$ ./bin/spark-submit \
--master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=<spark-image> \
local:///path/to/examples.jar
通过将
--master命令行参数传递给spark-submit或通过在应用程序配置中设置spark.master来指定的Spark 主服务器必须是格式为k8s://<api_server_host>:<k8s-apiserver-port>的URL。必须始终指定端口,即使它是 HTTPS 端口 443。使用k8s://前缀的主字符串将导致 Spark 应用程序在 Kubernetes 集群上启动,并通过api_server_url联系 API 服务器。如果 URL 中没有指定 HTTP 协议,则默认为https。例如,将 master 设置为k8s://example.com:443等效于将其设置为k8s://https://example.com:443,但要在其他端口上不使用 TLS 进行连接,master 将设置为k8s://http://example.com:8080。在 Kubernetes 模式下,默认使用由
spark.app.name或spark-submit的--name参数指定的 Spark 应用程序名称来命名创建的 Kubernetes 资源,如驱动程序和执行程序。因此,应用程序名称必须由小写字母数字字符-和.组成,并且必须以字母数字字符开头和结尾。
您也可以设置Client Mode
从 Spark 2.4.0 开始,可以在 Kubernetes 上以客户端模式运行 Spark 应用程序。当您的应用程序以客户端模式运行时,驱动程序可以在 pod 内或物理主机上运行。在客户端模式下运行应用程序时,建议考虑以下因素:
客户端模式网络
Spark 执行器必须能够通过主机名和可从 Spark 执行器路由的端口连接到 Spark 驱动程序。 Spark 在客户端模式下工作所需的特定网络配置因设置而异。如果您在 Kubernetes pod 中运行驱动程序,则可以使用 headless service 来允许您的驱动程序 pod 可以通过稳定的主机名从执行程序路由。部署无头服务时,确保服务的标签选择器仅匹配驱动程序 pod,不匹配其他 pod;建议为您的驱动程序 pod 分配一个足够独特的标签,并在无头服务的标签选择器中使用该标签。通过
spark.driver.host指定驱动程序的主机名,将火花驱动程序的端口指定为spark.driver.port。 ...
有关在 Kubernetes 上运行 Spark 的完整文档可在 here 获取。
Gigaspaces 也对Running a Spark Job in Kubernetes 给出了很好的解释
【讨论】: