kafka知识点汇总

一张图来分析kafka必备的知识点
这张图中包含的知识点:
1、Kafka生态系统四大角色,生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper
2、每个消费者都必须属于一个消费组,一个组内的消费者可以多个。
3、一个Topic可以有0到多个多个分区(Partition)
4、一个分区可以有0到多个segment。
5、每个segment可以有由一个log和一个index组成。
6、被复制的分区叫做主副本(Leader),复制出来的叫做从副本(Follwer)
7、生产者只往主副本写数据,消费者只在主副本拉取数据。
8、从副本只做数据备份,不做数据读写。
9、一个分区内的一条数据,只能被一个消费组内的一个消费者消费。
10、消费者的最大并发度由topic的分区数量决定
11、分区副本的数量必须小于等于broker的数量
12、一个topic内的多个分区,每个分区只是所有数据的一部分。所有分区的数据累加到一起是这个topic的全部数据。
13、zookeeper中记录了broker的id 、消费者消费数据的offset,消费者与partition的对应关系(ConsumerA—> Partition-0, ConsumerB—> Partition-1)

相关文章:

  • 2021-08-04
  • 2021-11-30
  • 2022-12-23
  • 2021-12-04
  • 2021-10-04
  • 2021-12-18
  • 2022-02-06
  • 2022-01-15
猜你喜欢
  • 2021-11-13
  • 2021-08-18
  • 2021-12-19
  • 2022-12-23
  • 2021-11-28
  • 2021-12-24
  • 2021-05-07
相关资源
相似解决方案