网络中断中的 Kafka 生产者

Question

我正在设计一个基于 Kafka 的系统，用于从通常网络连接不佳的远程平台传递消息。 Kafka 集群将运行在一个舒适的数据中心，所有节点都不太可能出现故障。让我担心的是生产者在网络中断期间的行为（这肯定会发生并且可以持续数天）。这是基于 Kafka 的系统尚未实现的主要原因，即所有数据都被认为是关键的，应该有 0 数据丢失。目前我们有一个使用 TCP 连接的简单系统，如果不可用，将数据缓冲到 HDD（让我们考虑有足够的空间来缓冲数据）。

有没有人有在网络中断期间将数据用于 HDD 缓冲的经验？这会对 Kafka 集群产生负面影响吗？将有数百个供应商，几乎可以保证其中一些供应商在任何给定时间都会中断。

感谢您的帮助！

Answer 1

我认为您的计划没有任何问题。如果满足您的用例，您可以让它与 Kafka 一起使用。

当消息未成功发送时，Kafka Producer 会通知您。因此，您必须处理这种情况并执行写入磁盘。此外，当连接恢复时，您还必须处理发送写入磁盘的所有数据。

这些都不会以任何方式影响集群。