【问题标题】:How to submit the flink job other than using their dashboard?除了使用他们的仪表板之外,如何提交 flink 作业?
【发布时间】:2017-07-12 13:51:45
【问题描述】:

我已经编写了 flink 作业来使用数据集和数据流 api。我已经从同一个 main() 方法启动了两个程序但是现在当我将作业提交到 flink Dashboard 时。只有数据集 api 程序正在运行,仪表板说作业完成,流没有被触发,flink 仪表板也没有显示任何关于数据流执行的内容。但是当我从 Eclipse 运行时,数据集和数据流 api 程序都在运行。有没有其他方法可以将作业提交给 flink 作业管理器来完成这两项作业?

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    除了使用 Web Dashboard 之外,您还可以使用 command line interfaceREST api 向 Flink 提交作业。

    但是,听起来您可能正在尝试创建一个同时使用 DataSet 和 DataStream API 的 Flink 作业。这行不通。

    【讨论】:

      【解决方案2】:

      解决方案是将两个程序拆分为单独的类,例如MyStreamingProgramMyBatchProgram,每个都有一个 main 方法。然后,将每个程序分别提交给 Flink,从而创建两个独立的作业。

      您提到您观察到行为的一些变化,具体取决于作业的提交方式。在底层,Flink 使用各种策略来执行main 方法来获取程序计划。不支持在一次执行 main 中生成多个计划 (AFAIK)。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2020-11-22
        • 1970-01-01
        • 2018-07-01
        • 1970-01-01
        • 1970-01-01
        • 2021-08-28
        • 2021-01-01
        相关资源
        最近更新 更多