【问题标题】:About Flink exactly-once feature关于 Flink 的exactly-once 特性
【发布时间】:2019-06-23 10:08:04
【问题描述】:

我正在阅读有关 flink 精确一次功能 here 的文档。而且有些句子我不太明白:

  1. 在成功的预提交之后,必须保证提交最终成功——我们的操作员和我们的外部系统都需要做出这种保证。如果一次 commit 失败(例如,由于间歇性网络问题),整个 Flink 应用程序失败,根据用户的重启策略重启,并有另一次 commit 尝试。这个过程很关键,因为如果提交最终没有成功,就会发生数据丢失。

这表示如果提交最终没有成功,则会发生数据丢失。我将其解释为:提交可能会成功,但由于某种原因,每次重新启动都会碰巧失败。在这种情况下,Flink 只能放弃属于这个 commit 的数据。那么,如果数据丢失是不可接受的,应该重启应用直到提交成功?

  1. 我们知道,如果出现任何故障,Flink 会将应用程序的状态恢复到最近一次成功的检查点。一个潜在的问题是在极少数情况下失败发生在成功的预提交之后但在该事实(提交)通知到达我们的操作员之前。在这种情况下,Flink 会将我们的 operator 恢复到已经预提交但尚未提交的状态。

我也不太关注这里。这个通知是关于什么的,上面没有提到?上述操作员是指接收器操作员吗?还有,按照我的理解,如果commit成功了,只是所谓的通知失败,恢复到pre-commited状态后会不会造成数据重复?

如果问题本身无效,请纠正我。任何帮助表示赞赏。

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    Flink 的端到端Exactly-once 机制基于类似两阶段提交(2PC)的协议。该协议用于协调程序的任何接收器或所有接收器提交输出到外部系统。

    当接收器任务说“我准备好提交”(预提交)时,它保证它能够执行提交。然后,接收器任务等待接收来自协调器的提交通知,该通知仅在所有接收器任务都同意准备提交时发送。如果在收到通知之前申请失败,该保证也必须成立。在这种情况下,接收器任务必须能够恢复打开的(尚未提交的)事务并在收到下一个通知时执行它。在多次失败的情况下,接收器必须继续尝试直到提交成功。然而,事务只能执行一次,即使在一个(或多个)失败的情况下也是如此。

    这就是

    的意思

    预提交成功后,必须保证提交最终成功

    如果接收器任务最终无法提交其预先提交的数据,则数据将丢失。

    【讨论】:

    • 很抱歉这么晚才回复您。在 sink 任务的并行度大于 1 的情况下,这些任务是提交同一个事务(例如 Kafka 事务)还是分别提交不同的事务?
    • 每个接收器任务启动并提交一个单独的事务。 2PC 协议确保检查点的所有事务或不提交。
    • 非常感谢。我有另一个问题。文档说,外部系统必须提供一种提交或回滚写入的方法,以配合 Flink 的检查点。我想知道这是否适用于键值存储(例如 HBase)或具有自定义 id 的 Elasticsearch。以我自己的理解,总是在失败的情况下重试可以保证不丢失数据,并且由于它们是键值存储,因此不会发生重复。对吗?
    • 如果输出数据具有唯一键并且数据存储支持 upserts(插入或更新如果存在),如果您可以暂时过时,则不需要事务来保证一次性写入或跨键不一致的数据。
    • 有点困惑。在按键写入的情况下,数据是否总是暂时过时?因为将来总是可以更新数据。还有,accross-key-inconsistent,是不是说两个checkpoint之间产生的数据不会一起写到外部系统,因为有些写是第一次成功,有些写恢复后完成?
    猜你喜欢
    • 2019-12-10
    • 2021-01-16
    • 1970-01-01
    • 1970-01-01
    • 2020-08-26
    • 2020-03-12
    • 2021-12-11
    • 2019-08-25
    • 1970-01-01
    相关资源
    最近更新 更多