【问题标题】:How to use dolphinscheduler with AWS EMR如何将 dolphinscheduler 与 AWS EMR 一起使用
【发布时间】:2021-01-14 20:06:16
【问题描述】:

我们在一个包含 2 个 ec2 实例的集群上安装了 Dolphinscheduler 1.3。我们想运行一个预定的 flink 作业。

我们有一个 AWS EMR 集群,并在上面运行 Flink。

如何让 DS 管理 EMR 集群上的作业?我在 DS 上看到的唯一工作组是“默认”工作组,其中包含我们安装 DS 的 2 个实例。

【问题讨论】:

    标签: apache-flink amazon-emr


    【解决方案1】:

    您可以在 conf/worker.properties 中配置工作组,

    worker.groups=default,wokergroup1,workergroup2,xxx,...
    

    然后重启worker server进程

    如果您的配置有效,您将在 UI 上看到所有工作组名称: image about all work group names

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-09-18
    • 2016-02-02
    • 2020-02-11
    • 1970-01-01
    • 2021-06-04
    • 1970-01-01
    • 2016-10-05
    相关资源
    最近更新 更多