【发布时间】:2019-06-23 10:08:04
【问题描述】:
我正在阅读有关 flink 精确一次功能 here 的文档。而且有些句子我不太明白:
在成功的预提交之后,必须保证提交最终成功——我们的操作员和我们的外部系统都需要做出这种保证。如果一次 commit 失败(例如,由于间歇性网络问题),整个 Flink 应用程序失败,根据用户的重启策略重启,并有另一次 commit 尝试。这个过程很关键,因为如果提交最终没有成功,就会发生数据丢失。
这表示如果提交最终没有成功,则会发生数据丢失。我将其解释为:提交可能会成功,但由于某种原因,每次重新启动都会碰巧失败。在这种情况下,Flink 只能放弃属于这个 commit 的数据。那么,如果数据丢失是不可接受的,应该重启应用直到提交成功?
我们知道,如果出现任何故障,Flink 会将应用程序的状态恢复到最近一次成功的检查点。一个潜在的问题是在极少数情况下失败发生在成功的预提交之后但在该事实(提交)通知到达我们的操作员之前。在这种情况下,Flink 会将我们的 operator 恢复到已经预提交但尚未提交的状态。
我也不太关注这里。这个通知是关于什么的,上面没有提到?上述操作员是指接收器操作员吗?还有,按照我的理解,如果commit成功了,只是所谓的通知失败,恢复到pre-commited状态后会不会造成数据重复?
如果问题本身无效,请纠正我。任何帮助表示赞赏。
【问题讨论】:
标签: apache-flink flink-streaming