如何在 kafka - hdfs 集成中自动化版本控制？答案

【问题标题】：How to automate the version control in kafka - hdfs integration?如何在 kafka - hdfs 集成中自动化版本控制？
【发布时间】：2019-04-11 15:30:48
【问题描述】：

我正在将 apache kafka 与 hdfs 集成，我需要将所有自动使用的版本自动化为最新版本。我该怎么做？

【问题讨论】：

【解决方案1】：

有很多方法可以做到这一点，但通常总是自动使用最新版本是一个非常糟糕的主意。当您向 prod 发布一个新版本时会发生什么，而构建自动化获取了一个您尚未测试过的新版本，而这恰好破坏了您的生产系统？或者发布的版本实际上有错误？

大多数构建系统（maven、gradle 等）默认将依赖项固定到特定版本是有原因的。

有关这是一个坏主意的更多详细信息，请参阅这些其他问题（和最佳答案）：

【讨论】：

如果我们使用库中可用的最新版本或 helm chart 或类似的东西进行自动化怎么办？测试的版本将被更新，我们希望自动进行版本控制。自动化将在 python 中完成。
Kafka 和 Hadoop 并不相互依赖，但是单独升级任何一个都可能对现有数据和与之交互的其他系统产生重大影响。一般来说，较新的 Kafka 客户端可以很好地与旧服务器配合使用。 Hadoop 的向后兼容性较少@Arvind