如果任务槽的数量大于任务管理器的 vcores 怎么办

Question

我已经在yaml配置文件中设置了yarn.container.vcores=1，并且我用

启动了一个flink集群

yarn-session.sh -jm 1024 -tm 2048 -n 4 -s 3

通过上面的命令，我启动了 4 个任务管理器，每个 TM 只分配了 1 个 vcore，每个 TM 也有 3 个任务槽。

假设如果我在 TM 中运行 3 个子任务，则每个任务槽都拥有一个子任务。

这3个子任务是3个线程同时运行（使用3个cpu核心，vcore=1不生效）还是只有一个线程同时运行（vcore = 1生效）

Answer 1

无论有多少内核可用，每个任务都有自己的 JVM 线程。如果任务管理器有 3 个插槽和 1 个 vcore 就可以了。在这些槽中运行的任务只会争夺 TM 可用的资源。

请注意，通常您会在一个插槽中运行多个子任务（或任务 --tasks and subtasks are really the same thing）。对于只有一个子任务的每个任务槽，要么该作业非常简单（即只有一个节点的作业图），要么您做了一些特殊的事情来隔离子任务。