Kafka 2.0 - Kafka Connect Sink - 创建 Kafka 生产者

Question

我们目前正在使用捆绑 Kafka 2.0.0 的 HDF (Hortonworks Dataflow) 3.3.1，并尝试在分布式模式下使用 Kafka Connect 来启动 Google Cloud PubSub Sink 连接器。 我们计划将一些元数据发送回 Kafka Topic，并且需要将 Kafka 生产者集成到 Sink 任务 java 代码的 flush() 函数中。

这会对 Kafka Connect 将偏移量提交回 Kafka 的过程产生负面影响（因为我们会在刷新之前增加运行 Kafka 生产者的开销）。

另外，当连接器属性中没有为接收器或源指定引导服务器列表时，Kafka Connect 如何从配置中获取引导服务器列表？我需要使用相同的引导服务器列表启动生产者。 目前我正在更改接收器连接器的配置，将引导服务器列表添加为属性并将其解析为连接器的 Java 代码。如果可能的话，我想使用 Kafka Connect 工作程序属性中的引导服务器列表。

请对此提供帮助。

提前致谢。

Answer 1

需要在Sink任务java代码的flush()函数中集成一个Kafka生产者

SinkTask API 中没有暴露生产者实例...

这会对 Kafka Connect 将偏移量提交回 Kafka 的过程产生负面影响（因为我们会在刷新之前增加运行 Kafka 生产者的开销）。

我的意思是，你可以添加任何你想要的代码。就负面影响而言，这取决于您对自己的基础架构进行基准测试。显然，添加更多阻塞代码会使其他进程整体变慢

如果没有在接收器或源的连接器属性中指定引导服务器列表，Kafka Connect 如何从配置中获取？

汇和源不是工人。看connect-distributed.properties

如果可能的话，我想使用 Kafka Connect 工作程序属性中的引导服务器列表

这是不可能的。向接收器/源配置添加额外的属性是唯一的方法。 （尽管如此，请随意制作一个 Kafka JIRA 来请求公开工作人员配置的这种功能）