备份/恢复kafka和zookeeper

Question

我正在运行一个简单的kafka 3 个节点和zookeeper 的5 个节点来运行kafka，我想知道哪个是备份我的kafka 的好方法，同样适用于我的@987654325 @。

目前我只是将数据目录导出到 s3 存储桶...

谢谢。

Answer 1

Apache Kafka 已经使您的数据保持分布式，并且还提供了强大的一致 replication 功能。

首先从架构设计的角度来看，我们需要了解备份对我们意味着什么？

• 是为了在数据中心故障中幸存下来吗？

  正如您在评论中所说，想象一下当您的整个数据中心出现故障时，这意味着该数据中心中运行的所有东西都消失了，而不仅仅是卡夫卡。要处理此类故障，您需要设计一个实时复制策略到不同的数据中心，您可以使用kafka-mirror maker。您需要在不同的数据中心（不一定具有相同的硬件资源）设置一个 kafka 集群，然后将您当前的数据中心 Kafka 配置为镜像到另一个数据中心。

在数据中心范围内发生故障的情况下，您的所有服务都将从该备用数据中心运行，并且它们将使用您的镜像 Kafka 作为主要 kafka。

然后，一旦另一个数据中心回来，您可以以相反的方式设置镜像，然后您可以回到您的旧（已损坏）数据中心。

• 是只备份Kafka/Zookeeper数据吗？

Kafka connect 有几个开箱即用的连接器，用于从 kafka 传输数据并保证一致性。因此，也许您可​​以选择 AWS S3 作为您的备份存储，以下连接器可以为您做到这一点。

• Confluent AWS S3 connector.

• Pinterest has secor service 将数据传输到 AWS S3、Google 和 Mircosoft 云存储。 我相信您还可以为所有大型云提供商找到一些专用连接器。将 Kafka 数据备份到高可用云存储时需要考虑的事项很少。

• kafka 对每个主题都有一个数据保留策略，因此旧数据将由 Kafka 自己从 Kafka 服务器中删除，但仍会保留在您的 AWS S3 存储桶中，因此如果您直接将其复制回来以防万一恢复事件之后，您将在 Kafka 代理上看到更多数据，而且将整个数据恢复到现有正在运行的 Kafka 集群中也不是一个好主意，因为您将开始处理旧数据。所以在这个过程中要小心谨慎

• 对于 zookeeper，您也可以将数据复制到 AWS S3，但由于临时节点，您需要小心恢复。我发现了一些可以提供帮助的链接：

https://jobs.zalando.com/tech/blog/backing-up-kafka-zookeeper/ https://www.elastic.co/blog/zookeeper-backup-a-treatise https://medium.com/@Pinterest_Engineering/zookeeper-resilience-at-pinterest-adfd8acf2a6b

最后，“预防胜于治疗”。因此，如果您在 AWS 等云提供商设置中运行，那么您可以通过将故障提前记在心里来部署集群设置。下面的链接有一些信息。

https://aws.amazon.com/blogs/big-data/best-practices-for-running-apache-kafka-on-aws/

Answer 2

Zalando 最近发表了一篇不错的文章how to backup Kafka and Zookeeper。 Kafka备份一般有2条路径：

• 维护第二个 Kafka 集群，所有主题都复制到该集群。我尚未验证此设置，但如果还复制了偏移主题，则切换到另一个集群不应损害消费者的处理状态。
• 将主题转储到云存储，例如使用 S3 连接器（如 Zalando 所述）。在恢复的情况下，您重新创建主题并使用云存储中的数据提供给它。这将允许您进行时间点恢复，但消费者必须从头开始阅读主题。

首选的备份解决方案取决于您的用例。例如。对于流式应用程序，第一种解决方案可能会减轻您的痛苦，而在使用 Kafka 进行事件溯源时，第二种解决方案可能更理想。

关于 Zookeeper，Kafka 保存有关主题（持久存储）以及代理发现和领导者选举（临时）的信息。 Zalando 决定使用Burry，它简单地迭代 Zookeeper 树结构，将其转储到文件结构中，然后将其压缩并推送到云存储。它受到a little problem 的影响，但很可能它不会影响 Kafka 持久数据的备份（TODO 验证）。 Zalando 在那里描述，在恢复时，最好先创建 Zookeeper 集群，然后将新的 Kafka 集群连接到它（使用新的唯一代理 ID），然后恢复 Burry 的备份。 Burry 不会覆盖现有节点，不会放置有关旧代理的临时信息，即存储在备份中的内容。

注意：虽然他们提到了 Exhibitor 的使用，但在使用 Burry 备份时并不需要备份。