【问题标题】:Configure disaster recovery and automatic failover for Azure Kafka?为 Azure Kafka 配置灾难恢复和自动故障转移?
【发布时间】:2020-11-05 12:48:32
【问题描述】:

我们的 kafka 在美国东部预配的 Azure HDInsight 上运行,我们的热备区域是美国西部。

如何配置 Azure HDInsight 以支持具有自动故障转移的灾难恢复?它会影响连接字符串吗?

【问题讨论】:

    标签: azure apache-kafka azure-hdinsight disaster-recovery


    【解决方案1】:

    Azure HDInsight 采用独特的体系结构开发,可确保关键服务的高可用性 (HA)。此体系结构的某些组件是由 Microsoft 开发的,用于提供自动故障转移。其他组件是为支持特定服务而部署的标准 Apache 组件。

    article 解释了 HDInsight 中 HA 服务模型的体系结构、HDInsight 如何支持 HA 服务的故障转移,以及从其他服务中断中恢复的最佳实践。

    对于 Azure HDInsight Kafka 集群,您可以使用 Kafka 的镜像功能将 Apache Kafka 主题与 Azure HDInsight 上的 Kafka 复制。

    什么是 Kafka 镜像?

    Kafka 的镜像功能使得维护现有 Kafka 集群的副本成为可能。

    Apache Kafka 镜像如何工作?

    镜像通过使用 MirrorMaker 工具(Apache Kafka 的一部分)来使用主集群上主题的记录,然后在辅助集群上创建本地副本。 MirrorMaker 使用一个(或多个)从主集群读取数据的消费者,以及一个写入本地(辅助)集群的生产者。

    最有用的灾难恢复镜像设置利用不同 Azure 区域中的 Kafka 集群。为此,集群所在的虚拟网络相互对等。

    下图说明了镜像过程以及集群之间的通信流程:

    更多详情请参考Use MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsightBig data streaming: Choices for high availability and disaster recovery on Microsoft Azure

    【讨论】:

      猜你喜欢
      • 2021-02-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-09-12
      • 2020-08-20
      • 1970-01-01
      • 1970-01-01
      • 2012-11-18
      相关资源
      最近更新 更多