Flink 1.3 在 YARN 上运行单个作业如何设置每个 TaskManager 的 Task Slot 数量答案

【问题标题】：Flink 1.3 running a single job on YARN how to set the number of Task Slots per TaskManagerFlink 1.3 在 YARN 上运行单个作业如何设置每个 TaskManager 的 Task Slot 数量
【发布时间】：2018-10-15 01:11:34
【问题描述】：

我正在 Yarn 上运行单个 flink 作业，如 here 所述。

flink run -m yarn-cluster -yn 3 -ytm 12000

我可以用上面的参数-yn来设置yarn节点/任务管理器的数量。但是我想知道是否可以设置每个任务管理器的任务槽数。当我使用 parallelsim (-p) 参数时，它只设置整体并行度。并且任务槽的数量是通过将该值除以提供的任务管理器的数量来计算的。我尝试使用动态属性 (-yD) 参数，该参数应该“允许用户指定其他配置值”，如下所示：

 -yD -Dtaskmanager.numberOfTaskSlots=8

但这不会覆盖flink-conf.yaml 中给出的值。当在 flink 上运行单个时（除了更改配置文件），有没有办法指定每个 TaskManager 的任务槽数？还有使用-yD参数有效的动态属性的文档吗？

【问题讨论】：

标签： apache-flink

【解决方案1】：

您可以使用yarn-session的设置here，前缀y在YARN集群上提交Flink作业。例如命令，

flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar

将提交my_program.jar Flink 应用程序，其中5 容器、768m 内存用于jobmanager、1400m 内存和2 cpu 核心用于taskmanagers，每个都将使用预定义 YARN 队列 @987654330@ 上的节点管理器的资源。有关其他重要信息，请参阅我对this 帖子的回复。

【讨论】：