Kafka Connect：多个独立连接器可以写入同一个 HDFS 目录吗？答案

【问题标题】：Kafka Connect: can multiple standalone connectors write to the same HDFS directory?Kafka Connect：多个独立连接器可以写入同一个 HDFS 目录吗？
【发布时间】：2020-05-11 01:06:57
【问题描述】：

对于我们的管道，我们有大约 40 个主题（每个 10-25 个分区），我们希望在独立模式下使用 HDFS 3 Sink 连接器将它们写入同一个 HDFS 目录（分布式不适用于我们当前的设置）。我们已尝试在一个连接器上运行所有主题，但如果需要重新启动，则会遇到恢复偏移量的问题。

如果我们在不同的独立连接器之间划分主题，它们是否都可以写入同一个 HDFS 目录？由于连接器然后按主题组织 HDFS 中的所有文件，我认为这应该不是问题，但我想知道是否有人有此设置的经验。

基本示例： Connector-1 配置

name=connect-1
connector.class=io.confluent.connect.hdfs3.Hdfs3SinkConnector
topics=topic1
hdfs.url=hdfs://kafkaOutput

Connector-2 配置

name=connect-2
connector.class=io.confluent.connect.hdfs3.Hdfs3SinkConnector
topics=topic2
hdfs.url=hdfs://kafkaOutput

【问题讨论】：

标签： apache-kafka hdfs apache-kafka-connect

【解决方案1】：

分布式不适用于我们当前的设置

您应该能够在与运行connect-standalone 完全相同的节点中运行connect-distibured。

我们已尝试在一个连接器上运行所有主题，但如果需要重新启动，则会遇到恢复偏移量的问题

是的，我建议不要将所有 topics 捆绑到一个连接器中。

如果我们在不同的独立连接器之间划分主题，它们可以都写入同一个HDFS目录吗？

这是我个人的建议，是的，他们可以，因为 HDFS 路径由主题名称命名，进一步由分区方案分割

注意：以下允许适用于所有其他存储连接器（S3 和 GCS）

【讨论】：