Apache Kafka教程A系列：基础

原文地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_fundamentals.htm

深入卡夫卡之前，您必须了解主题（topics），代理 (brokers)，生产者(producers)和消费者(consumers)等主要术语。 下图说明了主要术语，表格详细描述了图表组件。

在上图中，主题被配置为三个分区。 分区1具有两个偏移因子0和1.分区2具有四个偏移因子0,1,2和3.分区3具有一个偏移因子0.复制品的ID与托管它的服务器的ID相同。

假设，如果该主题的复制因子设置为3，则Kafka将为每个分区创建3个相同的副本，并将它们放入群集中以使其可用于其所有操作。 为了平衡集群中的负载，每个代理存储一个或多个这些分区。 多个生产者和消费者可以同时发布和检索消息。

***	组件和描述
1	Topics 属于特定类别的消息流被称为主题。 数据存储在主题中。 主题分为多个分区。 对于每个主题，卡夫卡都保留一个分区的最小范围。 每个这样的分区都以不可变的有序顺序包含消息。 分区被实现为一组相同大小的段文件。
2	Partition 主题可能有很多分区，所以它可以处理任意数量的数据。
3	Partition offset 每个分区消息都有一个称为偏移量的唯一序列标识。
4	Replicas of partition 副本只是分区的备份。 副本从不读取或写入数据。 它们用于防止数据丢失。
5	Brokers 代理者是简单的系统，负责维护公布的数据。 每个代理可能每个主题有零个或多个分区。 假设，如果一个主题和N个代理中有N个分区，则每个代理将有一个分区。 假设某个主题中有N个分区并且N个代理（n + m）多于N个，则第一个N代理将拥有一个分区，下一个M代理将不会拥有该特定主题的任何分区。 假设某个主题中有N个分区且N个代理（n-m）少于N个代理，则每个代理将拥有一个或多个分区共享。 由于代理人之间的负载分配不均衡，不推荐这种情况。
6	Kafka Cluster 卡夫卡拥有多个代理者称为卡夫卡集群。 Kafka集群可以在无需停机的情况下进行扩展。 这些集群用于管理消息数据的持久性和复制。
7	Producers 生产者是一个或多个卡夫卡主题的发布者。 生产者向卡夫卡代理者发送数据。 每当生产者向代理者发布消息时，代理者只需将消息附加到最后一个段文件。 实际上，该消息将被附加到分区。 生产者也可以将消息发送到他们选择的分区。
8	Consumers 消费者从代理那里读取数据。 消费者通过从代理商处获取数据来订阅一个或多个主题并消费发布的消息。
9	Leader Leader是负责所有分区读写的节点。 每个分区都有一台服务器充当领导者。
10	Follower 遵循领导指示的节点称为追随者。 如果领导失败，其中一个追随者将自动成为新领导。 追随者扮演正常的消费者角色，拉动消息并更新自己的数据存储。