【问题标题】:Regarding read and write in kafka?关于在kafka中读写?
【发布时间】:2016-10-19 09:48:24
【问题描述】:

我是一个初学者,正在尝试使用 kafka。我从文档中读到,生产者和消费者对分区的请求都在领导者副本上提供服务。这是否意味着消费者无法阅读领导者的追随者。如果不是,为什么?我认为如果我们可以从追随者那里阅读,它将提高更多的并行性。对此的任何见解都会有很大帮助。

【问题讨论】:

标签: apache-kafka kafka-consumer-api


【解决方案1】:

在当前设计中,追随者被动地异步复制领导者。值得注意的是,并非所有副本都始终与领导者保持同步,而只是其中的一部分,即同步副本(ISR)。您可以将所有副本指定为 ISR,但出于性能考虑,这将影响生产者的吞吐量。

如果客户端读取可以被任何follower处理,那么将有两个可能的成本: 1. Kafka必须确保所有副本在任何时候都包含完全相同的消息集,这是一个巨大的努力; 2. 它极大地减慢了生产者的速度,因为一条消息只有在所有副本都确认后才能被视为“已提交”。

【讨论】:

猜你喜欢
  • 2020-12-20
  • 2013-09-27
  • 2012-07-23
  • 1970-01-01
  • 2013-08-13
  • 1970-01-01
  • 1970-01-01
  • 2018-12-18
相关资源
最近更新 更多