【发布时间】:2021-01-14 20:06:16
【问题描述】:
我们在一个包含 2 个 ec2 实例的集群上安装了 Dolphinscheduler 1.3。我们想运行一个预定的 flink 作业。
我们有一个 AWS EMR 集群,并在上面运行 Flink。
如何让 DS 管理 EMR 集群上的作业?我在 DS 上看到的唯一工作组是“默认”工作组,其中包含我们安装 DS 的 2 个实例。
【问题讨论】:
我们在一个包含 2 个 ec2 实例的集群上安装了 Dolphinscheduler 1.3。我们想运行一个预定的 flink 作业。
我们有一个 AWS EMR 集群,并在上面运行 Flink。
如何让 DS 管理 EMR 集群上的作业?我在 DS 上看到的唯一工作组是“默认”工作组,其中包含我们安装 DS 的 2 个实例。
【问题讨论】:
您可以在 conf/worker.properties 中配置工作组,
worker.groups=default,wokergroup1,workergroup2,xxx,...
然后重启worker server进程
如果您的配置有效,您将在 UI 上看到所有工作组名称: image about all work group names
【讨论】: