为什么在 k8s 平台上使用 statefulset 部署 spark 而不是正常部署？

Question

我调查了几个用于 apache spark 部署的 helm 图表，发现其中大多数使用 statefulset 进行部署，而不是普通的 k8s 部署资源。

例如microsoft/spark 使用普通部署，而 bitnami/spark 更喜欢 statefulset。

我只是想知道这样做有什么具体原因吗？

Answer 1

Apache Spark 是一个有状态的服务，它们应该被部署为StatefulSet。

只有无状态服务应该部署为Deployment。 无状态的应用程序遵循Twelve Factor App 原则。使应用程序无状态可以更容易地作为分布式系统运行，例如Kubernetes 中的多个实例。但并非所有事物都可以是无状态的，StatefulSet 是 有状态 服务的一个选项。