flink 是否为数据集批处理提供检查点

【问题标题】：Does flink provide checkpointing for datasets batch processingflink 是否为数据集批处理提供检查点
【发布时间】：2020-05-13 00:37:20
【问题描述】：

如何为 flink 批处理配置检查点。我有兴趣了解检查指向如何在内部工作。由于检查点是间隔发生的，如果作业在下一个点之前失败，如果它重新启动将不会有任何重复处理。 flink 会为每个 operator、sink 和 sources 做检查点吗？

【问题讨论】：

【解决方案1】：

Flink 不支持 DataSet API 上的检查点。

您可以在具有有限源的 DataStream 中使用检查点，这已经涵盖了大多数 DataSet API 用例。长期愿景是用 DataStream + 有限源完全取代 DataSet API，这样用户就可以分析流或批处理，无需编写两个程序。

使用 Table API 和 SQL，这个目标已经很接近了。

【讨论】：