Spark Streaming 能否在仅指定 1 个 kafka 代理的情况下自动发现新的 kafka 代理？答案

【问题标题】：Can Spark Streaming automatically discover new kafka brokers given 1 kafka broker only specified?Spark Streaming 能否在仅指定 1 个 kafka 代理的情况下自动发现新的 kafka 代理？
【发布时间】：2019-08-28 15:57:22
【问题描述】：

我有一个包含 300 个 kafka 代理的 spark 流应用程序（主机 [101-301]:9092）。如果要添加新的代理，比如 host302:9092，spark 流应用程序会自动发现这个代理吗？还是我需要停止我的应用程序、更新配置并重新运行 spark 流应用程序？提前致谢！

【问题讨论】：

标签： apache-kafka spark-streaming

【解决方案1】：

不，你不需要重新配置和启动。

引用权威来源，例如
https://jaceklaskowski.gitbooks.io/apache-kafka/kafka-properties-bootstrap-servers.html 以下关于

bootstrap.server 属性

由于这些服务器仅用于初始连接以发现完整的集群成员（可能动态变化），这个列表不必包含完整的集合服务器数量（不过，您可能需要多个服务器，以防一台服务器下）。

【讨论】：

我确认您的回答是正确的，我们不需要重新配置和重新启动。谢谢你的回答！
如果您查看高吞吐量意味着什么，并且动态地查看语句，则可以推理。但我认为这是一个很好的问题（对其他人也是如此！）。也反映了这一点。关于这个恕我直言，文档可能会更明确。
我看到我们都喜欢猫。