【问题标题】:How to submit the flink job other than using their dashboard?除了使用他们的仪表板之外,如何提交 flink 作业?
【发布时间】:2017-07-12 13:51:45
【问题描述】:
我已经编写了 flink 作业来使用数据集和数据流 api。我已经从同一个 main() 方法启动了两个程序但是现在当我将作业提交到 flink Dashboard 时。只有数据集 api 程序正在运行,仪表板说作业完成,流没有被触发,flink 仪表板也没有显示任何关于数据流执行的内容。但是当我从 Eclipse 运行时,数据集和数据流 api 程序都在运行。有没有其他方法可以将作业提交给 flink 作业管理器来完成这两项作业?
【问题讨论】:
标签:
apache-flink
flink-streaming
【解决方案2】:
解决方案是将两个程序拆分为单独的类,例如MyStreamingProgram 和 MyBatchProgram,每个都有一个 main 方法。然后,将每个程序分别提交给 Flink,从而创建两个独立的作业。
您提到您观察到行为的一些变化,具体取决于作业的提交方式。在底层,Flink 使用各种策略来执行main 方法来获取程序计划。不支持在一次执行 main 中生成多个计划 (AFAIK)。