【问题标题】:Kafka's Replicas handling mechanism?Kafka的Replica处理机制?
【发布时间】:2019-10-11 16:51:06
【问题描述】:

我有两个问题。

  1. 我想知道如何同步领导分区和跟随分区。 如果leader分区收到消息,那么leader在后台通信时向follower分区广播?但似乎 kafka 配置文件不包含这些功能(同步端口信息等)

  2. 如果假设以下架构。

    • 两个代理 - 两个分区 - 两个副本

    • Broker#1 - 领导分区#1,从属分区#2

    • Broker#2 - 领导分区#2,从属分区#1

向这两个代理循环发送消息...

如果消息#1 转到 Broker#1(partition#1) 并且 Broker#1 被关闭,

那么broker#2打开follower partition#1,broker#2有两个活跃的leader partition(用于传递消息#1)?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:
    1. 这已由 Kafka 处理。您只需要为主题定义复制因子。根据Kafka docs

    日志的分区分布在 Kafka 集群,每个服务器处理数据和共享请求 的分区。每个分区都被复制到一个可配置的 容错服务器的数量。

    每个分区都有一个服务器作为“领导者”,零或 更多充当“追随者”的服务器。领导者处理所有读取和 在追随者被动的情况下写入分区请求 复制领导者。如果领导者失败,其中一个追随者将 自动成为新的领导者。每个服务器充当领导者 它的一些分区和其他分区的追随者,所以负载很好 在集群内保持平衡。

    1. 您的问题不清楚。我相信我的answer to this question 应该对 kafka 分区、消息分配和容错有所了解。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2023-02-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-05-11
      • 1970-01-01
      • 2014-10-02
      • 2022-10-13
      相关资源
      最近更新 更多