IaaS 上的 Kafka 代理，主机不断变化

Question

我的 Kafka 代理在专有云 IaaS 平台上运行。经纪人将每周左右搬迁到新的主机。当一个代理被重定位时，它会从其他代理恢复它的分区数据。如果所有经纪人都死了，我会丢失所有数据。

我有一个负载均衡器，用于在代理之间进行循环以进行引导。

当客户端连接（通过负载均衡器）时，Kafka 客户端将获取代理列表并将其存储以连接。

如果在客户端应用程序仍在运行时重新定位所有代理，则客户端应用程序将无法重新连接到集群。它不使用引导服务器重新查询新的代理列表，它会继续尝试连接到应用程序首次启动时它拥有的代理列表。

我怎样才能解决这个问题？我是否要更改 advertised.listeners 的代理配置以将固定负载均衡器主机：端口添加到每个代理？我会因为每个代理都为此配置设置相同的主机：端口而遇到问题吗？

Answer 1

您可以尝试降低元数据的最大使用期限以频繁刷新元数据。通过 DNS 解析的新可用代理应提供活动代理列表。

metadata.max.age.ms - 默认值为 5 分钟（Confluent 平台）

我们强制刷新的时间段（以毫秒为单位） 元数据，即使我们没有看到任何分区领导更改 主动发现任何新的代理或分区

另外，请检查：

metadata.max.idle.ms

控制生产者缓存主题元数据的时间 闲。如果自上次生成主题以来经过的时间超过 元数据空闲时间，然后主题的元数据被遗忘， 对它的下一次访问将强制执行元数据获取请求。

参考：https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html

另外，你评论说：

经纪人将每周左右搬迁到新的主机。当一个 代理被重定位，它从其他的恢复它的分区数据 经纪人。如果所有经纪人都死了，我会丢失所有数据。

理想情况下，尽管您可以出于任何原因重新定位代理进程，但不建议频繁地重新定位数据，而是可以将 Kafka 数据存储在可以在代理重新定位后幸存的分布式存储中（前提是它在数据本地要求）。

即使您没有使用分布式存储的规定，您也必须至少尝试重新定位数据或使用mirror-maker/confluent replicator 进行复制。

我不确定当所有代理都死了时您将如何丢失数据，因为数据总是永久存储在磁盘上。除非您使用了一些易失性存储（或）保存数据的磁盘崩溃，否则您的数据大部分应该保持原样，并且应该可以在代理重新启动时恢复。

如果您使用的是 docker/kubernetes 环境，请确保您已配置持久卷。