Flink Job Cluster vs Session Cluster - 部署和配置

Question

我正在研究 Flink 1.9.1 的 docker/k8s 部署可能性。

我正在阅读/观看 [1][2][3][4]。

目前我们确实认为我们会尝试使用 Job Cluster 方法，尽管 我们想知道这个社区的趋势是什么？我们宁愿 每个 Flink 集群部署的作业不超过一个。

无论如何，我想知道一些事情：

1. 如何更改 Job 的每个任务管理器的任务槽数和 会话集群？就我而言，我在有 4 个的 VirtualBox 上运行 docker 分配给这台机器的 CPU。但是，每个任务管理器都会生成 Job Cluster 只有一个任务槽。然而，使用 Session Cluster，在 在同一台机器上，每个任务管理器都会生成 4 个任务槽。

   在这两种情况下，Flink 的 UI 都显示每个 Task manager 有 4 个 CPU。

2. 如果我正在使用作业集群，如何重新提交作业。我指的是这个用途 案例[5]。你可能会说我必须重新开始工作，但不同 论据。这是什么程序？顺便说一句，我正在使用检查点。

我是否应该杀死所有任务管理器容器并使用不同的方法重新运行它们？ 参数？

1. 如何使用会话集群重新提交作业？

2. 如何为 Job/Session 集群提供日志配置？ 我有一个案例，我在 log4j.properties 中更改了日志级别和日志格式 这在本地（IDE）环境中运行良好。但是，当我建立 胖罐子，并基于这个罐子运行了一个作业集群，它接缝我的 log4j 属性不会传递给集群。我看到原始格式和 原始 (INFO) 级别。

谢谢，

[1]https://youtu.be/w721NI-mtAA

[2]https://youtu.be/WeHuTRwicSw

[3]https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html

[4]https://github.com/apache/flink/blob/release-1.9/flink-container/docker/README.md

[5]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Job-claster-scalability-td32027.html

Answer 1

目前我们确实认为我们会尝试使用 Job Cluster 方法，尽管我们想知道社区的趋势是什么？我们宁愿每个 Flink 集群部署的作业不超过一个。

这个问题可能更适合用户邮件列表。

如何更改作业和会话集群的每个任务管理器的任务槽数？

你可以通过配置选项taskmanager.numberOfTaskSlots来控制这个

如何使用 Session Cluster 重新提交作业？

这被描述为here。底线是您创建一个保存点并从中恢复您的工作。也可以从retained checkpoints继续工作。

如果我正在使用作业集群，如何重新提交作业。

从概念上讲，这与从会话集群中的保存点恢复作业没有什么不同。您可以将保存点的路径指定为集群入口点的命令行参数。详情描述here。

如何为 Job/Session 集群提供日志配置？

如果您使用 Flink 二进制发行版的 bin/ 目录中的脚本来启动集群（例如，bin/start-cluster.sh、bin/jobmanager.sh、bin/taskmanager.sh 等），您可以通过以下方式更改 log4j 配置适应conf/log4j.properties。日志记录配置作为系统变量传递给 JobManager 和 TaskManager JVM（请参阅bin/flink-daemon.sh）。另请参阅 Flink 文档中的第 "How to use logging" 章。