【问题标题】:kafka response ack after the data is written to pageCache or to disk?数据写入pageCache或磁盘后kafka响应ack?
【发布时间】:2022-12-31 13:12:56
【问题描述】:

很多文章告诉我Kafka写数据到页缓存首先,它提高了写入性能。

但是,我有一个疑问,当ack=-1copy=2时,数据确实已经存在于页缓存两个节点。

如果此时Kafka响应acks,并且立即,两个节点同时出现断电或者系统崩溃,此时两个节点的数据都还没有持久化到磁盘上。

在这种极端情况下,数据丢失仍然会发生吗?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    在概述的情况下可能会发生数据丢失。

    相关阅读:

    • this other answer
    • Confluent blog post:“由于日志数据没有从页面缓存同步刷新到磁盘,Kafka 依赖于复制到多个代理节点,以提供持久性。默认情况下,代理不会确认生产请求,直到它被复制到其他经纪人。”

    【讨论】:

      猜你喜欢
      • 2018-04-07
      • 2021-03-23
      • 2011-12-13
      • 1970-01-01
      • 2011-12-24
      • 1970-01-01
      • 2017-10-12
      • 1970-01-01
      • 2013-05-13
      相关资源
      最近更新 更多