Kafka 主题与 Kafka Connect 合并到 HDFS

【问题标题】：Kafka topic merging with Kafka Connect to HDFSKafka 主题与 Kafka Connect 合并到 HDFS
【发布时间】：2017-01-08 15:13:18
【问题描述】：

是否可以配置 Kafka Connect 的 HDFS 连接器以将多个单独的主题写入/组合到一个文件中？

主题将包含具有相同 avro 架构的消息，我希望 KafkaConnect 充当这些 Kafka 主题和 HDFS 之间的中介。在最坏的情况下，主题内容可以在写入 HDFS 后进行组合，但我觉得 HDFS 连接器应该可以实现更清洁、更快捷的方式。

【问题讨论】：

【解决方案1】：

现在 HDFS 连接器会将每个主题写入其自己的目录。您可以在写入后在 HDFS 中组合目录，或者在写入 HDFS 之前在 Kafka 中组合主题，但连接器本身不会这样做。

【讨论】：

能否请您扩展一下“之前在 Kafka 中组合主题...”？
消费来自两个主题的事件（这对于 KafkaConsumer 来说是可能的）并产生一个。使用 KafkaStreams 甚至使用 MirrorMaker 和处理程序，这听起来很容易。