如何定期安排 flink 批处理答案

【问题标题】：how to schedule a flink batch processing periodically如何定期安排 flink 批处理
【发布时间】：2016-11-30 17:12:46
【问题描述】：

我有一个 java 应用程序，它对通过从数据库中查询表获得的批处理进行 flink 批处理，并将其输入到 kafka 主题中。我将如何定期安排此计划。有flink调度器吗？例如，我的 java 应用程序应该继续在后台运行，flink 调度程序应该定期从数据库中查询表，并 flink 批处理它并输入到 kafka（flink 批处理和输入到 kafka 已经完成了我的应用程序的一部分）。如果有人对此有指点，请提供帮助。

【问题讨论】：

除了 Fabian 的问题之外，还有没有机会找到解决这个问题的方法？一直在看 Flink API，但到目前为止找不到任何合适的方法。

标签： java apache-flink flink-streaming

【解决方案1】：

Flink 不提供作业调度程序。

您是否考虑过使用持续运行的 Flink DataStream 应用程序来实现该用例？您可以实现一个定期查询数据库的SourceFunction。

连续流式应用程序的好处是移动部件更少（没有调度程序，如果出现问题也没有故障处理）和跨越“批处理”边界的一致视图。缺点是作业总是在消耗资源（Flink 无法在低负载时自动缩减）。

【讨论】：

谢谢！我们不想使用 DataStream，因为它对我们的应用程序和需求来说效率很低。因此，我们移至 DataSet。如果没有 Flink 调度器，我可能不得不做一个简单的 Java 调度器来运行我的 Flink 应用程序。