如何在 Apache Kafka 中添加备份生产者？

Question

我是卡夫卡新手。我有订单/市场数据多播（通过 Tibco Rendezvous），我的 Kafka 生产者正在收听它，并将其发布到一个主题上，所有这些都在一个分区中的一个代理（我有一个代理列表和一个包含 3 个节点的 Zookeeper 集合）容忍 Zookeeper和经纪人失败。

但是，如果我的生产者出现故障，Kafka 代理中的持久性虽然是必要的，但仍然不够，因为无论如何我都会丢失多播消息。我的消费者在每条消息后提交偏移量，因为它不能双重处理单个消息。

我正在考虑让备份生产者发布不同的主题，但即使 Kafka 允许重新启动消费者，消费者如何知道从哪里开始。

另外，我可能在传入消息中没有唯一标识符。

Answer 1

您从生产者那里生成的数据存储在消费者中。这意味着在 Kafka 日志中。如果您需要备份，那么一个简单的解决方案是放置您创建的主题的副本。bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --topic topicname