如果生产者宕机了，Kafka 会怎么做？

【问题标题】：What would Kafka do if producer goes down?如果生产者宕机了，Kafka 会怎么做？
【发布时间】：2016-01-13 07:59:15
【问题描述】：

我正在考虑的是如何设计系统以使其具有容错性。

如果生产者宕机，是否意味着我们丢失了一些数据？如何防止这种情况发生？

【问题讨论】：

【解决方案1】：

如果您链接到的生产者停止运行，来自 Twitter API 的新数据将不会进入 Kafka。我不确定 Twitter 流 API 是如何工作的，但它可能会获取历史数据，让您可以将所有数据返回到生产者失败时的位置。

另一种选择是使用 Kafka Connect，它是一种分布式的容错服务，用于将数据源和接收器连接到 Kafka。 Connect 公开了更高级别的 API，并在幕后使用开箱即用的生产者/消费者 API。 documentation 非常彻底地解释了 Connect，因此请阅读并从那里开始。

【讨论】：