如何外部化 Landoop Kafka 连接器常用属性

Question

我正在使用 Landoop Kafka docker 映像。我正在使用它的 UI 创建 jdbc 源和 jdbc 接收器连接器，或者我也可以使用 Kafka Rest Api 创建连接器。我有多个使用相同连接 url、用户名、密码的 jdbc 源连接器。每当更改源数据库凭据时，目前我必须单独更改所有连接器。有没有办法可以只将这些属性外部化，并让每个连接器都有其特定的属性，如主题、查询等。

Answer 1

在 Kafka 2.0 中添加，您至少可以将秘密外部化。参考KIP-297。

我自己还没有尝试过，它可能仅适用于 ConfigDef.Type.PASSWORD 配置，而不仅仅是一般配置...

从 KIP 中提取

变量替换的模式采用${provider:[path:]key} 的形式，在替换过程中只遵循一级间接。

变量中的路径是可选的。

这意味着如果您有以下情况：

foo=${file:bar}
bar=${file:baz}

并且您的文件包含

bar=hello
baz=world

那么结果就是

foo=hello
bar=world

因此，在 Docker 中，您可以批量挂载配置文件，然后在连接器配置负载中引用它