【问题标题】:Running Spring Cloud Data Flow in Cluster mode以集群模式运行 Spring Cloud Data Flow
【发布时间】:2021-04-22 07:28:53
【问题描述】:

是否可以在集群模式下运行 Spring Cloud Data Flow ?我有很多应用在 SCDF 上运行,我想确保 SCDF 始终像 kafka 集群一样正常运行。

【问题讨论】:

    标签: spring spring-boot apache-kafka spring-cloud-dataflow kafka-cluster


    【解决方案1】:

    只要您有多个 SCDF 应用程序实例,您就可以在前面插入一个 LB 来调解流量。这是一种常见的做法。

    不过,SCDF 本身并没有从每次看到的请求/响应中获得巨大的流量。只有当您使用 SCDF 仪表板或执行 SCDF API 时,才会真正发生流量。即使出于任何原因,SCDF 应用程序崩溃,它运行的平台(例如:K8s)也会在

    鉴于上述解释,您不会有明显的停机时间。这是在 Kubernetes 等容器编排平台中运行 SCDF 的原因之一,因此您可以利用该平台的弹性功能。

    【讨论】:

    • 在某些情况下,当客户端应用程序尝试以编程方式启动任务(使用 Java 任务 DSL 或使用带有 DeploymentPartitionHandler 的 Spring Batch 分区)时,服务器 pod 可能会关闭。如果我们不能拥有多个 SCDF 服务器 pod,那么我们会失去作为分布式系统重要特性的容错吗?如果没有容错,客户端程序将不得不处理失败的启动任务尝试(例如 404 错误)。不知何故,这似乎不是客户程序应该对 IMO 负责的事情。
    猜你喜欢
    • 2017-04-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-24
    • 1970-01-01
    • 2021-10-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多